[論文レビュー] Spatiotemporal Feature Learning Based on Two-Step LSTM and Transformer for CT Scans

Chih–Chung Hsu, Chi-Han Tsai+3 more|arXiv (Cornell University)|Jul 4, 2022

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

本論文は、CT画像におけるCOVID-19分類のための2段階の空間時間特徴抽出フレームワークを提案する。2次元CNNを用いてスライスレベルの埋め込みを抽出し、その後にLSTMとSwin Transformerモデルを用いて時間的モデリングを行う。この手法は、LSTMによる低誤陰性率およびSwinによる低誤陽性率を達成し、診断信頼性において相補的な強みを示している。

ABSTRACT

Computed tomography (CT) imaging could be very practical for diagnosing various diseases. However, the nature of the CT images is even more diverse since the resolution and number of the slices of a CT scan are determined by the machine and its settings. Conventional deep learning models are hard to tickle such diverse data since the essential requirement of the deep neural network is the consistent shape of the input data. In this paper, we propose a novel, effective, two-step-wise approach to tickle this issue for COVID-19 symptom classification thoroughly. First, the semantic feature embedding of each slice for a CT scan is extracted by conventional backbone networks. Then, we proposed a long short-term memory (LSTM) and Transformer-based sub-network to deal with temporal feature learning, leading to spatiotemporal feature representation learning. In this fashion, the proposed two-step LSTM model could prevent overfitting, as well as increase performance. Comprehensive experiments reveal that the proposed two-step method not only shows excellent performance but also could be compensated for each other. More specifically, the two-step LSTM model has a lower false-negative rate, while the 2-step Swin model has a lower false-positive rate. In summary, it is suggested that the model ensemble could be adopted for more stable and promising performance in real-world applications.

研究の動機と目的

• 患者間で解像度やスライス数にばらつきがあるCTスキャンに対応する課題に取り組むこと。これは深層学習の一般化を妨げる要因である。
• 多様な長さのCTスキャンから空間時間的特徴を信頼性高く抽出する強固な手法を開発すること。
• 2段階のパイプラインにより特徴抽出と時間的モデリングを分離することで、過学習を低減し、性能を向上させること。
• LSTMおよびTransformerベースのモデルの診断信頼性を比較し、誤陰性率および誤陽性率に焦点を当てる。

提案手法

• 個々のCTスライスから224次元の意味的埋め込みを抽出するために、EfficientNet-B3を2次元CNNバックボーンとして使用する。
• 2段階のアプローチを採用する：まずスライスレベルの特徴を抽出し、次に双方向LSTM（4層、128ユニット）を用いてスライス間の時間的依存関係をモデリングする。
• Transformerベースのブランチでは、スキャンごとに224スライスをランダムにサンプリング（224未満の場合はリプレースメントあり）し、Swin Transformerの入力長を標準化する。
• 安定性と分散の低減を図るために、10～50回のランダムスライスサンプリングセットの予測を平均化するアンサンブル推論を実施する。
• 学習にはAdam最適化法を用い、学習率0.0001、重み減衰0.0005を設定し、最終予測には0.5の分類閾値を適用する。

実験結果

リサーチクエスチョン

• RQ1 不均一な解像度およびスライス数を有する可変長CTスキャンを効果的に処理できる2段階の深層学習フレームワークは構築可能か？
• RQ2 特徴抽出と時間的モデリングを分離することで、医療画像データにおける過学習が低減され、分類性能が向上するか？
• RQ3 LSTMおよびTransformerベースのモデルは、COVID-19 CT分類において誤陰性率および誤陽性率の観点でどのように比較されるか？
• RQ4 LSTMおよびSwinの相補的なアーキテクチャをアンサンブル化することで、より安定的かつ信頼性の高い診断結果が得られるか？

主な発見

• 2段階LSTMモデルは感度（SE）0.900を達成し、他のモデルと比較して誤陰性率が低かった。
• 2段階Swin Transformerモデルは特異性（SP）0.981を達成し、他のモデルと比較して誤陽性率が低かった。
• 2次元CNNベースラインはマクロ-F1スコア0.930を達成し、ランダムスライスサンプリングセットを50回平均化した後は0.937に向上した。
• 2段階LSTMモデルは2次元CNNおよびADLeaSTを上回る感度を示し、真陽性症例の検出能力に優れていた。
• 2段階Swinモデルは最高の特異性（0.981）を達成し、非COVID症例を正しく同定する能力に優れていた。
• LSTMおよびSwinブランチのモデルアンサンブルは、誤陰性率低減と誤陽性率低減の両方の性能を組み合わせることで、実世界の診断安定性を向上させると提言される。