[論文レビュー] One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images

Weina Jin, Xiaoxiao Li+1 more|arXiv (Cornell University)|Jul 11, 2021

Explainable Artificial Intelligence (XAI)参考文献 38被引用数 14

ひとこと要約

本稿では、臨床的意思決定支援に不可欠なモダリティ固有の特徴を強調できるかどうかを評価する新しい評価指標MSFIを導入し、マルチモodal医療画像におけるサリエンシーマップの性能を評価する。BraTSおよび合成データセット上で16種類のサリエンシーマップ手法を評価した結果、大多数の手法がモダリティ固有の重要な特徴を一貫して局在化できていないことが判明し、臨床応用における現在の説明可能なAIにおける重要なギャップが明らかになった。

ABSTRACT

Being able to explain the prediction to clinical end-users is a necessity to leverage the power of AI models for clinical decision support. For medical images, saliency maps are the most common form of explanation. The maps highlight important features for AI model's prediction. Although many saliency map methods have been proposed, it is unknown how well they perform on explaining decisions on multi-modal medical images, where each modality/channel carries distinct clinical meanings of the same underlying biomedical phenomenon. Understanding such modality-dependent features is essential for clinical users' interpretation of AI decisions. To tackle this clinically important but technically ignored problem, we propose the MSFI (Modality-Specific Feature Importance) metric to examine whether saliency maps can highlight modality-specific important features. MSFI encodes the clinical requirements on modality prioritization and modality-specific feature localization. Our evaluations on 16 commonly used saliency map methods, including a clinician user study, show that although most saliency map methods captured modality importance information in general, most of them failed to highlight modality-specific important features consistently and precisely. The evaluation results guide the choices of saliency map methods and provide insights to propose new ones targeting clinical applications.

研究の動機と目的

• マルチモーダル医療画像におけるサリエンシーマップが臨床的に意味のあるモダリティ固有の特徴の重要性を反映しているかどうかを評価するフレームワークの欠如に応えること。
• 臨床的推論に整合する指標を構築し、モダリティの優先順位付けと各モダリティごとの特徴の正確な局在化を統合すること。
• 臨床的根拠に基づく指標を用いて、実際のおよび合成されたマルチモーダルMRIデータ上で16種類の既存サリエンシーマップ手法の性能を評価すること。
• 臨床的解釈可能性要件を最も満たす手法を特定することで、臨床現場への導入に向けた手法選定を支援すること。
• 今後のサリエンシーマップ手法の開発を促進し、臨床的事前知識とモデルの表現的忠実性を統合する方向に進めるための知見を提供すること。

提案手法

• モダリティ重要度（MI）とモダリティ固有の特徴局在化を組み合わせた複合指標として、MSFI（Modality-Specific Feature Importance）を提案する。
• 臨床的アノテーションとモデル予測から計算されたシャープレイ値を用いてモダリティ重要度を定義し、臨床的優先順位を反映させる。
• セグメンテーションマスクを用いてモダリティ固有の特徴重要度を計算し、空間的局在化が臨床的関連性と一致するようにする。
• MSFIスコアを[0,1]に正規化し、手法やデータセット間での比較を可能にし、定量的ベンチマークを実現する。
• 3次元サリエンシーマップに対して臨床医によるユーザースタディを実施し、専門家による評価と相関を検証することで、指標の臨床的判断との整合性を検証する。
• 知られた真値（T1Cモダリティを主なものとする）を持つ合成マルチモーダルMRIデータを生成し、手法のロバストネスと一般化性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 既存のサリエンシーマップ手法は、臨床的推論が求めるように、マルチモーダル医療画像においてモダリティ固有の特徴を正確に強調できるか？
• RQ2 サリエンシーマップ手法は、臨床専門家のモダリティ優先順位付けと特徴局在化の好みとどの程度整合しているか？
• RQ3 提案されたMSFI指標は、臨床医がアノテートしたサリエンシーマップの品質と臨床的知識とどの程度相関しているか？
• RQ4 サリエンシーマップ手法は、異なるデータポイント間で一貫した性能を示しているのか、それとも臨床的解釈可能性に著しいばらつきが生じているか？
• RQ5 MSFI指標は、臨床意思決定支援システムへの導入に向けたサリエンシーマップ手法の信頼できる順位付けと選定に使用できるか？

主な発見

• 多くのサリエンシーマップ手法が、一般のモダリティ重要度を捉えられても、モダリティ固有の重要な特徴を一貫的かつ正確に強調できていない。
• BraTSデータセットにおけるすべての手法の平均MSFIスコアは中程度から低めに位置し、個々のテストケース間で顕著なばらつきが認められた。
• GuidedBackPropとGuidedGradCAMが平均MSFIスコアで最高を記録したが、依然として高いばらつきを示しており、個々のスコアは0から1の範囲で変動した。
• 臨床医によるユーザースタディの結果、MSFIスコアと専門家の評価との間に中程度の相関が確認され、指標が臨床的判断と整合していることが裏付けられた。
• 真値が明確に分かっている合成データセット（T1Cモダリティを主とする）では、T1Cモダリティの腫瘍を正しく強調できたのはGuidedBackPropとGuidedGradCAMに限られ、他の手法は失敗した。
• 本研究により、既存のサリエンシーマップ手法は、性能の不安定さとモダリティ固有の局在化の不足により、臨床ユーザーがモデル意思決定の質を信頼して評価するのを支援できない可能性があることが明らかになった。