[論文レビュー] Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks

Edward Verenich, Tobías Martín+3 more|arXiv (Cornell University)|Sep 1, 2021

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）の肺疾患分類性能を向上させるために、翻訳不変性や等長性を損なわずに顕著な特徴間のグローバルな空間相関を捉える、新規の補助的グローバルアテンション機構、Globally Correlated Maximum Likelihood（GCML）を提案する。GCMLは、空間的文脈を活用することで、ウイルス性肺炎やCOVID-19のような類似疾患の区別を可能にする。Pneumonia分類におけるCNNの感度を2.6ポイント向上（93.7% 対 91.1%）し、95%の信頼水準で有意である。

ABSTRACT

Convolutional neural networks (CNN) are now being widely used for classifying and detecting pulmonary abnormalities in chest radiographs. Two complementary generalization properties of CNNs, translation invariance and equivariance, are particularly useful in detecting manifested abnormalities associated with pulmonary disease, regardless of their spatial locations within the image. However, these properties also come with the loss of exact spatial information and global relative positions of abnormalities detected in local regions. Global relative positions of such abnormalities may help distinguish similar conditions, such as COVID-19 and viral pneumonia. In such instances, a global attention mechanism is needed, which CNNs do not support in their traditional architectures that aim for generalization afforded by translation invariance and equivariance. Vision Transformers provide a global attention mechanism, but lack translation invariance and equivariance, requiring significantly more training data samples to match generalization of CNNs. To address the loss of spatial information and global relations between features, while preserving the inductive biases of CNNs, we present a novel technique that serves as an auxiliary attention mechanism to existing CNN architectures, in order to extract global correlations between salient features.

研究の動機と目的

• 標準CNNが肺異常同士のグローバルな空間的関係を捉えられず、ウイルス性肺炎やCOVID-19のような類似疾患の区別が困難であるという限界を解消すること。
• CNNの誘導的バイアス（翻訳不変性および等長性）を維持しながら、グローバルな特徴相関認識を可能にすること。
• ビジョントランスフォーマーと比較して、データが限られた医療画像環境における有効な一般化を可能にするために、データ依存性を低減すること。
• CNNバックボーンを変更せずに、生画像トークンではなくクラスアクティベーションマップ（CAM）上で動作する補助的アテンション機構を構築すること。

提案手法

• GCMLは、画像パッチやトークンではなく、CNNが生成するクラスアクティベーションマップ（CAM）にグローバルアテンション機構を適用することで、CNNの誘導的バイアスを保持する。
• 閾値付き二項近似（τパラメータを介して）を用いて、画像全体における顕著な特徴の条件付き確率分布をモデル化し、グローバルな空間相関を学習する。
• アテンション機構は、CAMからクエリ、キー、バリュー行列を計算し、グローバルな相関に基づいて特徴の重要度を重みづけする。
• 画像トークン化を回避することで、CNNの空間的不変性を維持しながら、分類のための判別的なグローバル文脈を導入する。
• GCMLは、バックボーンの再トレーニングを必要としない軽量で微分可能なモジュールとして実装され、既存のCNNアーキテクチャに容易に統合可能である。
• 空間的に一貫性のある特徴表現を最適化するために、グローバルに相関のある最大尤度目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準CNNにグローバルアテンション機構を統合することで、類似した特徴を示すが空間的分布が異なる肺疾患の区別能力が向上するか？
• RQ2 提案されたGCML機構は、CNNの翻訳不変性および等長性を維持しながら、グローバルな空間的推論を可能にするか？
• RQ3 GCMLは、顕著に少ないトレーニングサンプルでビジョントランスフォーマーと同等の性能を達成できるか、特にデータが限られた医療画像環境において？
• RQ4 グローバルな空間的文脈を組み込むことで、ウイルス性肺炎と他の類似疾患の分類感度はどの程度向上するか？

主な発見

• GCMLは、Pneumonia分類において93.7%のテスト精度を達成したのに対し、標準CNNでは91.1%であった。これは2.6ポイントの向上を意味する。
• 仮説検定の結果、GCMLは95%の信頼水準で標準CNNを上回ることが確認された（Z = -1.1607）、すなわち、精度の向上は統計的に有意である。
• 顕著な特徴間のグローバルな空間相関を活用することで、感度が向上し、重複する視覚的パターンを示す疾患の区別が可能になった。
• GCMLは、CNNの誘導的バイアス（翻訳不変性および等長性）を維持しながらグローバルアテンションを追加するが、ビジョントランスフォーマーとは異なり、これらの性質を欠いている。
• GCMLは、ビジョントランスフォーマーと比較してデータ依存性を低減しており、GCMLはデータが限られた環境でも効果的に一般化できる。
• 著者らは、再現性および今後の研究を支援するため、すべてのコード、データ、モデルを公開しており、医療AI分野におけるコミュニティ主導の進展を支援している。