[論文レビュー] Evaluating Explainable AI on a Multi-Modal Medical Imaging Task: Can Existing Algorithms Fulfill Clinical Requirements?

Weina Jin, Xiaoxiao Li+1 more|arXiv (Cornell University)|Mar 12, 2022

Explainable Artificial Intelligence (XAI)参考文献 52被引用数 13

ひとこと要約

本稿では、マルチモodal医療画像における説明可能AI（XAI）手法を評価するため、モダリティ特有の特徴重要度（MSFI）という新しい指標を提案する。臨床的ニーズに応えるモダリティ認識型で局所化された説明が求められる中、脳腫瘍MRI分類タスクにおいて16種類のXAIアルゴリズムを体系的に評価した結果、既存の手法は忠実性および妥当性という臨床的要件を満たしていないことが判明し、マルチモダリティ環境下における臨床的根拠に基づいたXAI設計の必要性が浮き彫りになった。

ABSTRACT

Being able to explain the prediction to clinical end-users is a necessity to leverage the power of artificial intelligence (AI) models for clinical decision support. For medical images, a feature attribution map, or heatmap, is the most common form of explanation that highlights important features for AI models' prediction. However, it is unknown how well heatmaps perform on explaining decisions on multi-modal medical images, where each image modality or channel visualizes distinct clinical information of the same underlying biomedical phenomenon. Understanding such modality-dependent features is essential for clinical users' interpretation of AI decisions. To tackle this clinically important but technically ignored problem, we propose the modality-specific feature importance (MSFI) metric. It encodes clinical image and explanation interpretation patterns of modality prioritization and modality-specific feature localization. We conduct a clinical requirement-grounded, systematic evaluation using computational methods and a clinician user study. Results show that the examined 16 heatmap algorithms failed to fulfill clinical requirements to correctly indicate AI model decision process or decision quality. The evaluation and MSFI metric can guide the design and selection of XAI algorithms to meet clinical requirements on multi-modal explanation.

研究の動機と目的

• マルチモダリティ医療画像におけるAI意思決定の説明に関して、特にモダリティ優先順位付けとモダリティ特異的特徴局所化という観点から、臨床的に関連性のある要件を特定・形式化すること。
• 単一モダリティの自然画像を主眼に設計された現在のXAI評価手法が、臨床エンドユーザーによる検証が行われていないことから生じる、マルチモダリティ医療画像におけるXAI評価のギャップを埋めること。
• 臨床的解釈パターンを捉えることができる計算指標、すなわちモダリティ特異的特徴重要度（MSFI）を考案すること。
• 実世界の脳腫瘍分類タスクを対象に、16種類のXAI手法について、計算的評価と臨床医による評価の二重評価を実施すること。
• マルチモダリティ医療画像解釈における必須臨床要件を満たさない既存の手法の問題を示すことで、今後のXAIアルゴリズム設計をガイドすること。

提案手法

• 臨床的解釈パターン（モダリティ優先順位付けとモダリティ特異的特徴局所化）を的確に反映しているかどうかを定量的に評価できる、モダリティ特異的特徴重要度（MSFI）指標を提案する。
• マルチモダリティMRI脳腫瘍分類タスクにおいて、活性化法・勾配法・摂動法に分類される16種類のXAI手法を体系的に評価する。
• 臨床医によるユーザースタディを実施し、医師が説明の臨床的妥当性と診断的推論との整合性に基づいてヒートマップを評価することで、説明の妥当性を評価する。
• ヒートマップの後処理を実施：上位1%の値をカット、負の値を0に設定、[0,1]に正規化、視覚的明瞭性向上のためガウスノイズを適用する。
• モダリティごとのオクルージョン、特徴のアブレーション、パーミュテーションを実装し、臨床的画像解釈と整合性のあるモダリティ特異的ヒートマップを生成する。
• T1、T2、FLAIR、T1ceのマルチモダリティMRIを用いて訓練されたベースラインモデルを用い、予測を生成。XAIの説明をモデルの挙動と臨床的期待と照らし合わせて評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のXAI手法は、マルチモダリティ医療画像におけるAIモデルの意思決定プロセスをどれほど正確に反映したヒートマップを生成するのか。
• RQ2 XAIが生成するヒートマップは、特に重要なモダリティを適切に特定し、各モダリティごとに特徴を局所化するという臨床的解釈パターンとどれほど整合しているのか。
• RQ3 臨床医が評価した説明の妥当性は、AIモデルの予測精度の実際の質を予測できるか。
• RQ4 既存のXAIアルゴリズムが、単一モダリティの自然画像を想定して設計されているがゆえに、マルチモダリティ臨床データには適さないという問題が生じているのか。
• RQ5 提案されたMSFI指標は、マルチモダリティ医療画像におけるXAI手法の臨床的有用性を的確に定量化・区別できるか。

主な発見

• 16種類の評価対象XAI手法は、計算指標と臨床医の評価の両方で、マルチモダリティ医療画像における意思決定説明の臨床的要件を満たしていないことが確認された。
• どのXAI手法も、モデルの予測において最も重要なモダリティを一貫して正しく特定できていなかったため、モダリティ優先順位付けの忠実性が著しく低いことが判明した。
• 大多数の手法が、すべての画像チャネルに同じ説明を重複して生成しており、モダリティ特異的でないことが判明し、臨床的期待に反する結果となった。
• 臨床医による説明の妥当性評価は、すべての手法で低く、説明の妥当性とモデル予測精度の間に有意な相関は認められなかった。
• 提案されたMSFI指標は、臨床的解釈パターンを的確に捉え、既存のXAI手法がマルチモダリティデータにおいて系統的な欠陥を抱えていることを明らかにした。
• 本研究は、モダリティ特異的情報と臨床的推論ワークフローを考慮しないままでは、現在のXAIアルゴリズムはマルチモダリティ画像診断支援に適さないことを示している。