[論文レビュー] Automated Model Design and Benchmarking of 3D Deep Learning Models for COVID-19 Detection with Chest CT Scans

Xin He, Shihao Wang+7 more|arXiv (Cornell University)|Jan 14, 2021

COVID-19 diagnosis using AI参考文献 40被引用数 8

ひとこと要約

本論文は、Gumbel Softmaxを用いた微分可能ニューラルアーキテクチャ探索（DNAS）フレームワークを提案し、肺結節CTスキャンからのCOVID-19検出のための効率的な3Dディープラーニングモデルを自動設計することを目的としている。得られたCovidNet3Dモデルは、人間が設計したベースライン（例：COVID-CTsetで94.27％）を上回る高い正確性を達成するとともに、最大41倍も小型化されており、CAM可視化により病変関連領域が明確に強調されていることから、解釈可能性が確認されている。

ABSTRACT

The COVID-19 pandemic has spread globally for several months. Because its transmissibility and high pathogenicity seriously threaten people's lives, it is crucial to accurately and quickly detect COVID-19 infection. Many recent studies have shown that deep learning (DL) based solutions can help detect COVID-19 based on chest CT scans. However, most existing work focuses on 2D datasets, which may result in low quality models as the real CT scans are 3D images. Besides, the reported results span a broad spectrum on different datasets with a relatively unfair comparison. In this paper, we first use three state-of-the-art 3D models (ResNet3D101, DenseNet3D121, and MC3\_18) to establish the baseline performance on the three publicly available chest CT scan datasets. Then we propose a differentiable neural architecture search (DNAS) framework to automatically search for the 3D DL models for 3D chest CT scans classification with the Gumbel Softmax technique to improve the searching efficiency. We further exploit the Class Activation Mapping (CAM) technique on our models to provide the interpretability of the results. The experimental results show that our automatically searched models (CovidNet3D) outperform the baseline human-designed models on the three datasets with tens of times smaller model size and higher accuracy. Furthermore, the results also verify that CAM can be well applied in CovidNet3D for COVID-19 datasets to provide interpretability for medical diagnosis.

研究の動機と目的

• 肺結節CTスキャンを用いたCOVID-19検出のための3Dディープラーニングモデルにおける公平で一貫性のあるベンチマークの欠如に対処すること。
• 2Dモデルの限界を克服し、本物の3D CTデータ上で3Dモデルの開発と評価を行うこと。
• 微分可能ニューラルアーキテクチャ探索（DNAS）を用いて、高性能でコンパクトな3D CNNアーキテクチャの自動設計を行うこと。
• 予測の解釈可能性を高めるために、クラス活性化マッピング（CAM）を統合し、臨床的信頼を向上させること。
• 3つの公開データセットを対象として、最先端の3Dモデル（ResNet3D101、DenseNet3D121、MC3_18）を用いて強固なベースラインを確立すること。

提案手法

• 3つの公開肺結節CTデータセット（Clean-CC-CCII、MosMedData、COVID-CTset）上で最適な3D CNNアーキテクチャを探索するため、微分可能ニューラルアーキテクチャ探索（DNAS）フレームワークを採用した。
• Gumbel Softmax技術を用いることで、1つのスーパーネットをエンドツーエンドで訓練可能とし、一度に1つのサブネットを効率的に最適化できるようにした。
• 各レイヤーに対して、複数の候補演算（例：畳み込みタイプ、カーネルサイズ）を含むスーパーネットを用いて探索空間を定義した。
• 最終的なモデル（CovidNet3D）は、標準的な指標（正確性、適合率、再現率、F1スコア、モデルサイズ）を用いて訓練および評価された。
• クラス活性化マッピング（CAM）を適用し、グランドグラウンドオパシティなど臨床的に関連する領域にモデルが注目していることを可視化した。
• データ前処理にはNIfTIファイルをPNGに変換する処理が含まれており、これにより情報損失が生じる可能性がある。

実験結果

リサーチクエスチョン

• RQ1 Gumbel Softmaxを用いたDNASフレームワークは、肺結節CTスキャンにおけるCOVID-19検出のためのコンパクトで正確な3D CNNアーキテクチャを効果的に発見できるか？
• RQ2 自動探索されたCovidNet3Dモデルは、人間が設計した3Dモデル（ResNet3D101、DenseNet3D121、MC3_18）と比較して、複数のデータセットにおいて正確性とモデルサイズの点でどのように異なるか？
• RQ3 クラス活性化マッピング（CAM）の統合により、CTスキャンにおける病変関連領域を的確に強調することで、臨床的に意味のある解釈可能性が得られるか？
• RQ4 MosMedDataデータセットでは他の2つのデータセットと比較してなぜ性能が劣るのか、また、データ形式変換が性能に与える影響は何か？
• RQ5 ランダムシードの選択が、NASで生成されたモデルの訓練および性能にどの程度影響を与えるか？

主な発見

• CovidNet3D-Lモデルは、3つのデータセットすべてで最高の正確性を達成し、すべてのベースラインモデルを上回った。
• CovidNet3D-S（8.36 MB）はCOVID-CTsetデータセットで94.27％の正確性を達成し、ResNet3D101（325.21 MB）の0.4％上回った。これは41倍も小型化されたことを意味する。
• DNASフレームワークは、異なる入力サイズ、ネットワーク深さ、データセット特性に対しても一貫した性能を発揮するモデルを効果的に発見した。
• CAM可視化により、CovidNet3Dがグランドグラウンドオパシティ（COVID-19の主要な画像バイオマーカー）を示す領域に注目していることが確認され、臨床的解釈可能性が向上した。
• MosMedDataでのモデル性能は他のデータセットよりも低く、NIfTIからPNGへの変換による情報損失とクラス不均衡の影響が原因である可能性がある。
• 訓練プロセスはランダムシードに非常に敏感であり、NASベースのモデルの堅牢性を確保するにはさらなる調査が必要であることが示された。