[論文レビュー] FLANNEL: Focal Loss Based Neural Network Ensemble for COVID-19 Detection

Zhi Qiao, Austin Bae+3 more|arXiv (Cornell University)|Oct 30, 2020

COVID-19 diagnosis using AI参考文献 25被引用数 5

ひとこと要約

FLANNELは、クラス不均衡を解消するためにフォーカル損失関数を用いたニューラルネットワークアンサンブルを提案し、胸部レントゲン画像におけるCOVID-19検出を向上させる。クラス不均衡に起因する問題を軽減するため、複数のCNNを組み合わせたフォーカル損失関数を採用。COVID-19同定タスクにおいて、ベースラインで最高の性能を示すモデル比で6%の相対的向上を達成し、マクロF1スコアは0.8168、適合率は0.7833、再現率は0.8609を記録した。

ABSTRACT

To test the possibility of differentiating chest x-ray images of COVID-19 against other pneumonia and healthy patients using deep neural networks. We construct the X-ray imaging data from two publicly available sources, which include 5508 chest x-ray images across 2874 patients with four classes: normal, bacterial pneumonia, non-COVID-19 viral pneumonia, and COVID-19. To identify COVID-19, we propose a Focal Loss Based Neural Ensemble Network (FLANNEL), a flexible module to ensemble several convolutional neural network (CNN) models and fuse with a focal loss for accurate COVID-19 detection on class imbalance data. FLANNEL consistently outperforms baseline models on COVID-19 identification task in all metrics. Compared with the best baseline, FLANNEL shows a higher macro-F1 score with 6% relative increase on Covid-19 identification task where it achieves 0.7833(0.07) in Precision, 0.8609(0.03) in Recall, and 0.8168(0.03) F1 score.

研究の動機と目的

• 胸部レントゲン画像を用いたCOVID-19検出におけるクラス不均衡の課題に対処すること。
• 正常例、細菌性肺炎、非COVID-19ウイルス性肺炎の患者群におけるCOVID-19症例の同定精度を向上させること。
• 複数のCNNモデルを統合することで、一般化性能を向上させる柔軟なディープラーニングフレームワークの開発。
• フォーカル損失が少数クラス（COVID-19）のサンプルにおける検出性能を向上させる有効性の評価。
• 画像データを用いた早期COVID-19診断における臨床意思決定支援のための堅牢なアンサンブルベースのソリューションの提供。

提案手法

• 本手法は、2つの公的データソースから得た5,508枚の胸部レントゲン画像を用いて、正常、細菌性肺炎、非COVID-19ウイルス性肺炎、COVID-19の4クラスをカバーするデータセットを構築した。
• 予測の統合により、ロバスト性と一般化性能を向上させる複数の畳み込みニューラルネットワーク（CNN）モデルを統合するニューラルネットワークアンサンブルフレームワークを採用した。
• トレーニング段階でクラス不均衡問題を軽減するためにフォーカル損失関数を適用し、特に少数クラスのCOVID-19クラスに属する難易度の高いサンプルに注目を向ける。
• 個々のCNNからの特徴量と予測値を重み付き平均法を用いて動的に統合することで、性能を向上させた。
• エンドツーエンドでトレーニングされたアーキテクチャは、フォーカル損失で修正されたクロスエントロピー損失を用いて、容易なネガティブサンプルの影響を低減し、レアなポジティブケースの学習を改善した。
• 最終的なモデルは、適合率、再現率、F1スコアといった標準指標を用いて評価され、主な性能指標としてマクロ平均F1スコアが用いられた。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡に起因する問題を抱える胸部レントゲン画像におけるCOVID-19検出において、フォーカル損失を用いたディープラーニングアンサンブルが効果的に性能向上を実現できるか？
• RQ2 提案されたFLANNELフレームワークは、個々のCNNモデルや標準的な損失関数と比較して、COVID-19症例の同定においてどのように性能を発揮するか？
• RQ3 標準的なクロスエントロピー損失と比較して、フォーカル損失は少数クラス（COVID-19）のF1スコアをどの程度向上させるか？
• RQ4 モデルアンサンブルは、さまざまな種類の肺炎および健康な対照群において、検出性能とロバスト性を向上させるか？
• RQ5 FLANNELフレームワークは、クラス分布が不均衡な実臨床画像データに十分に一般化できるか？

主な発見

• FLANNELはマクロF1スコア0.8168を達成し、COVID-19同定タスクにおいて、最高のベースラインモデル比で6%の相対的向上を示した。
• COVID-19クラスの適合率は0.7833、再現率は0.8609を記録し、適合率と感度のバランスが良好であることが示された。
• フォーカル損失部が、トレーニング段階における容易なネガティブサンプルの優位性を低減することで、少数クラス（COVID-19）の性能向上に顕著に寄与した。
• アンサンブルアーキテクチャは、すべての評価指標において、すべてのベースラインモデルを上回る性能を示し、ロバスト性と一般化性能の向上が確認された。
• 本手法は4クラスすべてにおいて安定した性能を示し、特に再現率の向上が顕著で、真のCOVID-19陽性例の検出能力が向上していることが示された。
• フォーカル損失とモデルアンサンブルの組み合わせが、医療画像における長尾クラス分布の処理に有効な戦略であると結論づけられた。