[論文レビュー] A hybrid deep learning framework for Covid-19 detection via 3D Chest CT Images

Shuang Liang|arXiv (Cornell University)|Jul 8, 2021

COVID-19 diagnosis using AI参考文献 16被引用数 4

ひとこと要約

本論文では、3D畳み込みニューラルネットワーク（3D CNN）と自己注意メカニズムを備えたトランスフォーマーを統合したハイブリッドディープラーニングフレームワーク、CTNetを提案する。病変の連続性を保持するとともに入力サイズを低減するデータリサンプリング戦略を導入することで、CTNetはCOV19-CT-DBの検証セットにおいて88.23%のマクロF1スコアを達成した。これはベースラインから18.23ポイント上回り、1ケースあたり380msという高速な推論性能を維持している。

ABSTRACT

In this paper, we present a hybrid deep learning framework named CTNet which combines convolutional neural network and transformer together for the detection of COVID-19 via 3D chest CT images. It consists of a CNN feature extractor module with SE attention to extract sufficient features from CT scans, together with a transformer model to model the discriminative features of the 3D CT scans. Compared to previous works, CTNet provides an effective and efficient method to perform COVID-19 diagnosis via 3D CT scans with data resampling strategy. Advanced results on a large and public benchmarks, COV19-CT-DB database was achieved by the proposed CTNet, over the state-of-the-art baseline approachproposed together with the dataset.

研究の動機と目的

• 大容量の3D CTスキャン入力による計算コストの高さと、トレーニングの不安定性に起因する3D CTベースのCOVID-19検出の課題に対処すること。
• 新規のデータリサンプリング戦略を提案することで、特徴を損なわず3D CTスキャンのサイズを低減すること。
• 局所的特徴抽出にCNNを、長距離依存性モデリングにトランスフォーマーを組み合わせることで診断性能を向上させること。
• 限られた計算リソースでも臨床現場への導入に適した、効率的でエンドツーエンドで学習可能なフレームワークを開発すること。
• 精度と推論速度の両面で、公的COV19-CT-DBデータセット上での既存の最先端手法を上回ること。

提案手法

• 各3Dスキャンから均一に固定数（32に設定）のCTスライスをリサンプリングする戦略を提案し、入力サイズを低減するとともに病変の連続性を保持する。
• 入力モジュールは、スキャン総数と希望するリサンプリング数（renumCT）に基づいたハイブリッドリサンプリング・オーバーサンプリングアプローチを用いてCTスキャンをリサンプリングする。
• スケーリング・エクスカーション（SE）アテンションモジュールを備えた3D CNN特徴抽出器は、チャネルごとの特徴応答を再キャリブレーションすることで特徴の識別能を向上させる。
• 抽出された特徴はフラット化され、2つの並列ブランチ（トランスフォーマーに基づく情報集約モジュールと全結合（FC）ブランチ）に供給される。
• トランスフォーマーとFCブランチの間で要素ごとの加算（EWA）による特徴統合が行われ、その後ソフトマックス層による最終分類が実施される。
• 2台の1080Ti GPU上でステップ減衰学習率スケジュールを用いた確率的勾配降下法により、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 データリサンプリング戦略は、臨床的に関連する特徴を保持しつつ、3D CTベースのCOVID-19検出における計算負荷を効果的に低減できるか？
• RQ2 CNNによる局所的特徴抽出とトランスフォーマーによるグローバルな文脈モデリングを組み合わせることで、3D CTスキャンにおける診断性能が向上するか？
• RQ3 提案されたハイブリッドCTNetフレームワークは、マクロF1スコアと推論速度の両面で、既存の最先端手法と比較してどのように差をつけるか？
• RQ4 このフレームワークは、フルボリュームCT処理の必要性をどの程度低減でき、より迅速かつ効率的な臨床現場への導入を可能にするか？
• RQ5 モデルは変動する入力サイズに頑健であり、複数の病院から得られた多様な3D CTスキャンに一般化可能か？

主な発見

• 提案されたデータリサンプリング戦略により、入力サイズを最大700スライスから32に低減したが、診断的関連性は保持された。
• CTNetはCOV19-CT-DBの検証セットで88.23%のマクロF1スコアを達成し、ベースライン手法より18.23ポイントの向上を示した。
• CTNetのFCオンリーブランチは87.96%のマクロF1スコアを達成し、トランスフォーマー融合なしでも強力な性能を示した。
• フルCTNet（統合済み）モデルは、ベースラインおよびFCオンリーバリエントを上回り、トランスフォーマーに基づく特徴集約の有効性を確認した。
• 1ケースあたりの推論時間はわずか380msであり、リアルタイム臨床応用における実用的妥当性を示している。
• アブレーションスタディにより、リサンプリングとハイブリッドアーキテクチャの組み合わせが、計算負荷を低減しつつ優れた性能を実現することが確認された。