[論文レビュー] Intra-model Variability in COVID-19 Classification Using Chest X-ray Images

Brian D. Goodwin, Corey Jaskolski+2 more|arXiv (Cornell University)|Apr 30, 2020

COVID-19 diagnosis using AI参考文献 30被引用数 9

ひとこと要約

本研究では、12種類のディープラーニングアーキテクチャを用いて、同じデータ分割、重み初期化、データオーグメンテーション、バッチシャッフルを用いた5回の訓練を繰り返し、COVID-19分類におけるモデル内ばらつきを評価した。最高のモデルでは、保留済みテストセットで15%の偽陰性率（20例中3例）を達成したが、これは、同じアーキテクチャとデータを用いても、性能に顕著な不一致が生じることを示しており、臨床的信頼性を高めるために、より大規模で多様なデータセットの必要性が急務であることを強調している。

ABSTRACT

X-ray and computed tomography (CT) scanning technologies for COVID-19 screening have gained significant traction in AI research since the start of the coronavirus pandemic. Despite these continuous advancements for COVID-19 screening, many concerns remain about model reliability when used in a clinical setting. Much has been published, but with limited transparency in expected model performance. We set out to address this limitation through a set of experiments to quantify baseline performance metrics and variability for COVID-19 detection in chest x-ray for 12 common deep learning architectures. Specifically, we adopted an experimental paradigm controlling for train-validation-test split and model architecture where the source of prediction variability originates from model weight initialization, random data augmentation transformations, and batch shuffling. Each model architecture was trained 5 separate times on identical train-validation-test splits of a publicly available x-ray image dataset provided by Cohen et al. (2020). Results indicate that even within model architectures, model behavior varies in a meaningful way between trained models. Best performing models achieve a false negative rate of 3 out of 20 for detecting COVID-19 in a hold-out set. While these results show promise in using AI for COVID-19 screening, they further support the urgent need for diverse medical imaging datasets for model training in a way that yields consistent prediction outcomes. It is our hope that these modeling results accelerate work in building a more robust dataset and a viable screening tool for COVID-19.

研究の動機と目的

• 同じモデルアーキテクチャとデータ分割を用いた場合の、COVID-19検出におけるモデル性能のばらつきを定量化すること。
• 重み初期化、データオーグメンテーション、バッチシャッフルといったランダム要因が、予測の信頼性に与える影響を評価すること。
• 公開済みのチストレーサーX線データセットを用いて、12種類の一般的なディープラーニングアーキテクチャのベースライン性能指標を評価すること。
• コミュニティ研究の加速とモデル訓練効率の向上を目的として、事前学習済みモデル重みとトレーニングコードを公開すること。
• 現在のデータセットの限界を強調し、臨床的実用性のあるAIスクリーニングツールを実現するためには、より多様で豊富なデータの必要性を提言すること。

提案手法

• 全実験にわたり、固定された80-10-10のトレーニング-バリデーション-テスト分割を適用し、データ分割によるばらつきを分離した。
• 12種類のディープラーニングアーキテクチャの各々を、同一のデータ分割だが異なるランダムシードを用いて5回ずつ訓練し、重み初期化、データオーグメンテーション、バッチシャッフルの違いを生じさせた。
• Lambda LabsのGPUハードウェアを用いてPyTorchで実験を実施し、保留済みのテストセット上でモデル性能を評価した。
• Cohenら（2020）が公開したチストレーサーX線データセット（健康、コミュニティ獲得性肺炎、COVID-19の3クラスを含む）を主なデータソースとして使用した。
• 標準指標（正確性、適合率、再現率、偽陰性率（FNR））を用いて性能を測定し、臨床的意義を鑑み、FNRに特に注目した。
• 事前学習済みモデル重みとトレーニングコードを、クリエイティブ・コモンズ・アトリビューション・ノンコマercial 4.0ライセンスの下で公開し、コミュニティ研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 同じディープラーニングアーキテクチャと同じチストレーサーX線データセットを用いた複数回のトレーニング実行において、予測性能にどの程度のばらつきが生じるか？
• RQ2 モデルアーキテクチャとデータ分割を固定した場合、COVID-19分類モデルの性能変動の主な要因は何か？
• RQ3 現在のディープラーニングモデルを用いて、公開済みのチストレーサーX線データ上でCOVID-19検出を実行した場合、達成可能な最低の偽陰性率はどの程度か？
• RQ4 ランダム性を制御した同じデータでトレーニングされた場合、異なるディープラーニングアーキテクチャ間で性能指標はどのように変動するか？
• RQ5 現在の公開データセットは、臨床的COVID-19スクリーニング用AIモデルの信頼性と一貫性をどの程度制限しているか？

主な発見

• 最高のモデルは、保留済みテストセットで15%の偽陰性率（20例中3例）を達成したが、これは意味のあるが最適ではない検出性能を示している。
• モデルアーキテクチャとデータ分割を固定した状態でも、顕著なモデル内ばらつきが観察され、複数回のトレーニング実行間で性能に有意な差が生じた。
• 本研究では、重み初期化、データオーグメンテーション、バッチシャッフルが予測ばらつきの主な要因であると特定した。これは、モデルの一貫性を損なう要因である。
• 一部の実行で高い性能を示したものの、全体的な結果から、現在のモデルは同じアーキテクチャにおいても一貫性に欠けるため、臨床的導入には不適切であると判明した。
• 本研究の結果は、モデルの信頼性がアーキテクチャ設計の制限ではなく、データセットの制限によって制限されていることを強調しており、一貫性のある結果を得るためには、より大規模で多様なデータセットが不可欠であることを示している。
• 研究の加速と訓練効率の向上を目的として、事前学習済み重みとトレーニングコードを公開した。これにより、より強固なスクリーニングツールの開発を支援することを目的としている。