[論文レビュー] ACAT: Adversarial Counterfactual Attention for Classification and Detection in Medical Imaging

Alessandro Fontanella, Antreas Antoniou+5 more|arXiv (Cornell University)|Mar 27, 2023

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本稿では、敵対的反事後的画像から導出されたサリエンシー・マップを用いて、複数スケールのソフト空間的アテンション・マスクを生成する、新たなフレームワークであるAdversarial Counterfactual Attention (ACAT) を提案する。この手法により、医療画像分野における分類精度と耐性が向上する。ACATは、脳CTスキャンにおける病変分類精度を71.39%から72.55%へ、肺CTスキャンでは67.71%から70.84%へと向上させ、手動によるROIアノテーションを必要とせず、ベースラインモデルや競合手法を上回る性能を示した。

ABSTRACT

In some medical imaging tasks and other settings where only small parts of the image are informative for the classification task, traditional CNNs can sometimes struggle to generalise. Manually annotated Regions of Interest (ROI) are sometimes used to isolate the most informative parts of the image. However, these are expensive to collect and may vary significantly across annotators. To overcome these issues, we propose a framework that employs saliency maps to obtain soft spatial attention masks that modulate the image features at different scales. We refer to our method as Adversarial Counterfactual Attention (ACAT). ACAT increases the baseline classification accuracy of lesions in brain CT scans from 71.39% to 72.55% and of COVID-19 related findings in lung CT scans from 67.71% to 70.84% and exceeds the performance of competing methods. We investigate the best way to generate the saliency maps employed in our architecture and propose a way to obtain them from adversarially generated counterfactual images. They are able to isolate the area of interest in brain and lung CT scans without using any manual annotations. In the task of localising the lesion location out of 6 possible regions, they obtain a score of 65.05% on brain CT scans, improving the score of 61.29% obtained with the best competing method.

研究の動機と目的

• 医療画像における信号対雑音比が低い状況、特に診断的に関連する領域がわずかであるにもかかわらず、従来のCNNが一般化しにくいという課題に対処する。
• 高価で一貫性のない手動による領域（ROI）アノテーションに依存しないように、データ駆動型サリエンシー・マップからアテンション・マスクを学習する。
• サリエンシー・マップから導出された複数スケールのアテンション・マスクを用いて特徴量を変調することで、モデルの耐性と分類性能を向上させる。
• 特に敵対的反事後的画像を用いたサリエンシー・マップ生成法が、診断的に関連する領域を効果的に分離できるかを調査する。
• サリエンシー・マップに基づくアテンション機構が、ランダム正則化や単一スケールのアテンションよりも優れていることを示す。

提案手法

• ACATは二重ブランチアーキテクチャを採用する。一方のブランチは生画像特徴を処理し、もう一方はサリエンシー・マップを処理して、ネットワークの複数スケールでソフト空間的アテンション・マスクを生成する。
• サリエンシー・マップは、事前に訓練された分類器が予測するターゲットクラスに近づけるために必要な最小限の潜在空間の摂動を同定する敵対的反事後的生成法を用いて生成される。
• アテンション・マスクは、ネットワークの3段階（初期、中間、後期）に適用され、情報のない領域からのノイズを低減する。
• アテンション融合層は、学習可能な重みを用いて複数スケールのアテンション・マスクを統合し、最終的な分類意思決定をより効果的に支援する。
• フレームワークはエンド・トゥ・エンドで訓練され、サリエンシー・マップ生成器と分類器が同時に最適化され、特徴量の変調と予測精度の向上が図られる。
• 耐性は、ネットワーク層における事前活性化分散の測定によって評価され、ACATは入力摂動下でも分散を低減し、訓練を安定化させることを示している。

Figure 1: Architecture of the framework proposed for 3D volumes. The slices of each volume are first processed separately and then combined by applying an attention module over the slices. For each volume we also consider as input the corresponding saliency map. From the saliency branch, we obtain s

実験結果

リサーチクエスチョン

• RQ1 敵対的反事後的画像から導出されたサリエンシー・マップは、手動アノテーションを必要とせず、低信号の医療画像において小さな診断的関連領域を効果的に分離できるか？
• RQ2 サリエンシーに基づくマスクを用いた複数スケールのアテンション変調は、ベースラインCNNと比較して、脳CTスキャンおよび肺CTスキャンタスクにおける分類精度を向上させるか？
• RQ3 ACATのアテンション機構は、ランダムドロップアウトや単一スケールのアテンションと比較して、性能と耐性の面で優れているか？
• RQ4 反事後的生成によるアテンション・マスクは、多クラス局在タスクにおける病変領域の局在精度をどの程度向上させるか？
• RQ5 ACATの性能向上は、意味のあるアテンションによるものか、それともランダムな特徴の削除による単なる正則化効果に過ぎないのか？

主な発見

• ACATは、IST-3脳CTスキャンにおける分類精度を71.39%から72.55%へと向上させ、相対的な改善は1.16百分率ポイントであった。
• MosMed肺CTスキャンでは、ACATが精度を67.71%から70.84%へと向上させ、相対的な増加は3.13百分率ポイントであった。
• ACATは脳CTスキャンにおける病変局在スコアを65.05%に達成し、最も優れた競合手法の61.29%を上回った。
• アテンション融合層を削除すると精度は69.79%に低下し、すべてのアテンションモジュールを削除するとさらに悪化して68.23%に低下した。これは、複数スケールのアテンションの重要性を示している。
• ACATは、すべてのネットワーク層における事前活性化分散を顕著に低減し、特に入力ノイズ下でも顕著であった。これは、耐性の向上と滑らかな最適化の改善を示している。
• ランダムドロップアウトの実験から、ACATの性能向上はランダムな特徴の削除によって再現できないことが判明した。これは、アテンション・マスクが情報的であり、単なる正則化効果ではないことを確認している。