[論文レビュー] COVID-19 Pneumonia Severity Prediction using Hybrid Convolution-Attention Neural Architectures

Nam V. Nguyen, Chang Jm|arXiv (Cornell University)|Jul 6, 2021

COVID-19 diagnosis using AI参考文献 16被引用数 4

ひとこと要約

本論文は、限られた医療画像データからのCOVID-19肺炎重症度予測を向上させるために、データ中心の事前学習フレームワークを備えたハイブリッド畳み込み-アテンションニューラルネットワークを提案する。トランスフォーマーの自己アテンションと密度的関連記憶（ホプフィールドネットワーク）を活用することで、地理的広がりの予測においてR² = 0.85 ± 0.05およびρ = 0.92 ± 0.02を達成し、転移学習ベースラインを著しく上回った。

ABSTRACT

This study proposed a novel framework for COVID-19 severity prediction, which is a combination of data-centric and model-centric approaches. First, we propose a data-centric pre-training for extremely scare data scenarios of the investigating dataset. Second, we propose two hybrid convolution-attention neural architectures that leverage the self-attention from the Transformer and the Dense Associative Memory (Modern Hopfield networks). Our proposed approach achieves significant improvement from the conventional baseline approach. The best model from our proposed approach achieves $R^2 = 0.85 \pm 0.05$ and Pearson correlation coefficient $ρ= 0.92 \pm 0.02$ in geographic extend and $R^2 = 0.72 \pm 0.09, ρ= 0.85\pm 0.06$ in opacity prediction.

研究の動機と目的

• 極めて小さなデータセットと限られたデータ量のため、COVID-19重症度予測において性能が低い深層学習モデルの課題に対処すること。
• 限られた医療画像データのための表現学習を向上させるため、データ中心の事前学習フレームワークを開発すること。
• 自己アテンション機構を統合し、医療画像内のグローバルな文脈情報を捉えるハイブリッド畳み込み-アテンションアーキテクチャを設計すること。
• 新規ニューラルアーキテクチャを用いて、COVID-19肺炎の地理的広がりおよび透過度重症度指標の両方の予測性能を向上させること。
• データ中心の事前学習とハイブリッドアテンション機構が、従来のImageNetからの転移学習を上回ることを実証すること。

提案手法

• 特徴学習を強化するため、事前処理段階で合成データまたは拡張データを生成するデータ中心の事前学習フレームワークを提案する。
• トランスフォーマーのアーキテクチャから抽出した自己アテンションモジュールと、密度的関連記憶（現代的ホプフィールドネットワーク）を畳み込みニューラルネットワークのバックボーンに統合する。
• 畳み込み特徴抽出とアテンション機構によるグローバルな文脈モデリングを組み合わせたハイブリッドアーキテクチャ（HCTおよびHCH）を採用する。
• 2段階の訓練プロトコルを採用する：まず、データ中心のフレームワークを用いて事前学習段階で前処理済みデータを学習し、次に重症度予測タスクで微調整する。
• モデルの汎化性能と学習安定性を評価するために、式6で定義される損失関数を用いた交差検証を実施する。
• DenseNet121、ResNet50、EfficientNet-B4などのバックボーンモデルを用い、データ中心の事前学習フェーズで初期化された重みを適用する。

実験結果

リサーチクエスチョン

• RQ1 データ中心の事前学習フレームワークは、COVID-19重症度予測における低データ環境下での深層学習モデルの性能を顕著に向上させることができるか？
• RQ2 自己アテンションとホプフィールドネットワークを統合したハイブリッド畳み込み-アテンションアーキテクチャは、標準的なCNNや転移学習ベースラインと比較して、肺炎重症度予測においてどのように性能を発揮するか？
• RQ3 アテンション機構によるグローバルな文脈モデリングの統合は、COVID-19画像における地理的広がりおよび透過度の予測精度をどの程度向上させるか？
• RQ4 提案フレームワークは、特に小規模データセットにおいて、さまざまなバックボーンアーキテクチャ全体にわたって一貫した改善をもたらすか？
• RQ5 データ中心の事前学習は、交差検証損失と相関係数指標で測定した場合、モデルの収束性と汎化性能にどのような影響を与えるか？

主な発見

• 提案されたデータ中心の事前学習フレームワークは、ImageNetからの転移学習を上回り、すべてのバックボーンモデルでR²とピアソン相関係数が顕著に向上した。
• 最も優れた性能を示したモデル、HCT-DenseNet121は、地理的広がり予測でR² = 0.85 ± 0.05およびρ = 0.92 ± 0.02を達成し、高い予測精度を示した。
• 透過度予測についても顕著な向上が見られ、R² = 0.72 ± 0.09およびρ = 0.85 ± 0.06を達成し、実測値と予測値の間で強い一致を示した。
• ハイブリッドアーキテクチャは、単独のCNNと比較して、平均して平均二乗誤差（MSE）を約0.2ポイント、平均絶対誤差（MAE）を1.5ポイント低減した。
• ハイブリッドモデルの交差検証損失は、単独のCNNと比較して一貫して低く、より優れた汎化性能と学習安定性を示した。
• DenseNet121では、ハイブリッドアテンションの統合後、地理的広がり予測のR²が0.74から0.82に上昇し、性能向上が最も顕著に観察された。