[論文レビュー] CAE-Transformer: Transformer-based Model to Predict Invasiveness of Lung Adenocarcinoma Subsolid Nodules from Non-thin Section 3D CT Scans

Shahin Heidarian, Parnian Afshar+3 more|arXiv (Cornell University)|Oct 17, 2021

Lung Cancer Diagnosis and Treatment被引用数 4

ひとこと要約

本論文は、非薄層3D CTスキャンを用いて肺腺腫瘍の浸潤性を予測するトランスフォーマーに基づくモデル、CAE-Transformerを提案する。畳み込みオートエノード（CAE）を用いて2D CTスライスからの特徴を抽出し、それを変更されたトランスフォーマーに供給することで、スライス間のグローバルな依存関係を捉える。最小限の放射線科医の監視のもとで、114例のデータセットで87.73%の正確性、88.67%の感度、86.33%の特異性、0.913のAUCを達成した。

ABSTRACT

Lung cancer is the leading cause of mortality from cancer worldwide and has various histologic types, among which Lung Adenocarcinoma (LUAC) has recently been the most prevalent one. The current approach to determine the invasiveness of LUACs is surgical resection, which is not a viable solution to fight lung cancer in a timely fashion. An alternative approach is to analyze chest Computed Tomography (CT) scans. The radiologists' analysis based on CT images, however, is subjective and might result in a low accuracy. In this paper, a transformer-based framework, referred to as the "CAE-Transformer", is developed to efficiently classify LUACs using whole CT images instead of finely annotated nodules. The proposed CAE-Transformer can achieve high accuracy over a small dataset and requires minor supervision from radiologists. The CAE Transformer utilizes an encoder to automatically extract informative features from CT slices, which are then fed to a modified transformer to capture global inter-slice relations and provide classification labels. Experimental results on our in-house dataset of 114 pathologically proven Sub-Solid Nodules (SSNs) demonstrate the superiority of the CAE-Transformer over its counterparts, achieving an accuracy of 87.73%, sensitivity of 88.67%, specificity of 86.33%, and AUC of 0.913, using a 10-fold cross-validation.

研究の動機と目的

• 通常の非薄層3D CTスキャンから、肺のサブソリッド腺腫瘍の浸潤性を自動的に、低監視で予測するフレームワークの開発。
• 手作業でアノテートされた腫瘍に依存する主観的な放射線科医の解釈や、レオミクスベースのモデルの限界を克服すること。
• 特にトランスフォーマーを活用して、薄層または高解像度スキャンを必要とせずに、ボリュメトリックCTデータ内のグローバルなスライス間関係をモデル化すること。
• 術前で正確に前侵襲性・最小侵襲性・浸潤性サブタイプを分類することで、不要な手術を減らす臨床応用可能なツールの構築。
• 自己教師付き特徴抽出（CAE）とトランスフォーマーエンコーダーの組み合わせが、小規模で現実世界のデータセットにおいて従来のモデルを上回ることを示すこと。

提案手法

• 畳み込みオートエノード（CAE）を、2D CTスライス上で自己教師付きで事前学習し、階層的かつ情報豊富な特徴を抽出する。
• 腫瘍の全スライスからのCAE生成特徴を、形状（25, 256）のシーケンスにスタックし、3D腫瘍を2D特徴マップのシーケンスとして表現する。
• 変更されたトランスフォーマー・エンコーダーが、マルチヘッド自己注意機構を用いて、長距離依存関係とスライス間関係をモデル化する。
• 最終的な分類ヘッドは、トランスフォーマーからの学習済み[CLS]トークン表現を用いて、浸潤性クラス（前侵襲性／最小侵襲性対浸潤性）を予測する。
• 一般化を向上させるために、ラベルスムージング（α=0.05）を用い、低学習率（1e-6）で全データセット上で微調整する。
• 性能評価は10分割交差検証を用い、アブレーションスタディでは、GAP、GMP、LSTM、3D-CNN、ResNetの変種とCAE-Transformerを比較する。

実験結果

リサーチクエスチョン

• RQ1 薄層スキャンを必要とせず、非薄層CTスキャンからの3D肺腫瘍におけるスライス間関係を、トランスフォーマーに基づくモデルが効果的に捉えることができるか？
• RQ2 畳み込みオートエノードによる自己教師付き特徴抽出と、トランスフォーマー・エンコーダーの組み合わせが、小規模で現実世界の医療データセットにおける分類性能を向上させるか？
• RQ3 CAE-Transformerは、従来のレオミクスやディープラーニングベースライン（例：3D-CNN、LSTM、ResNet）と比較して、サブソリッド腫瘍の浸潤性を予測する上で優れているか？
• RQ4 分類の前に特徴を集約する際、グローバル平均プーリング（GAP）とグローバルマックスプーリング（GMP）の選択が、モデルの性能にどの程度依存するか？
• RQ5 自己教師付き事前学習アプローチを用いることで、多数の放射線科医のアノテーションの必要性を減らしつつも、高い診断正確性を維持できるか？

主な発見

• CAE-Transformerは、10分割交差検証を用いて114例のデータセットで87.73%の正確性、88.67%の感度、86.33%の特異性、0.913のAUCを達成した。
• 本モデルは、同じデータセットで手作業でアノテートされた腫瘍を用いて81.0%の正確性を達成した元のレオミクスベースのモデルよりも顕著に優れた。
• GMP-FC、GAP-FC、CAE-LSTM、3D-CNN、ResNetベースのモデルといった非トランスフォーマーのベースラインよりも、同じデータセットで優れた性能を示した。
• アブレーションスタディの結果、グローバルプーリング（GMP/GAP）をトランスフォーマー・エンコーダーに置き換えることで、顕著な性能向上が確認され、スライス間の長距離依存関係をモデル化することが重要であることが裏付けられた。
• 小規模データセットでもモデルの頑健性が確認され、より深くまたは大きなネットワーク（例：より深いResNet）は過学習のため性能が劣った。これは、CAE事前学習と注目機構の利点を示している。
• ラベルスムージング（α=0.05）の使用により一般化性能が向上したため、小規模データ医療学習環境においてその価値が示された。