[論文レビュー] Guidelines and Evaluation of Clinical Explainable AI in Medical Image Analysis

Weina Jin, Xiaoxiao Li+2 more|arXiv (Cornell University)|Feb 16, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

本論文は、医用画像解析における説明可能なAI（XAI）を評価するためのフレームワークである「Clinical XAIガイドライン」を提案する。このフレームワークは、理解可能性、臨床的関連性、真実性、情報的妥当性、計算効率という5つの基準から構成される。著者は新規の指標を用いて16種類のヒートマップXAI手法を評価し、真実性と妥当性に欠けることが判明し、本フレームワークが臨床的に実用的な説明を特定する有効性を示している。

ABSTRACT

Explainable artificial intelligence (XAI) is essential for enabling clinical users to get informed decision support from AI and comply with evidence-based medical practice. Applying XAI in clinical settings requires proper evaluation criteria to ensure the explanation technique is both technically sound and clinically useful, but specific support is lacking to achieve this goal. To bridge the research gap, we propose the Clinical XAI Guidelines that consist of five criteria a clinical XAI needs to be optimized for. The guidelines recommend choosing an explanation form based on Guideline 1 (G1) Understandability and G2 Clinical relevance. For the chosen explanation form, its specific XAI technique should be optimized for G3 Truthfulness, G4 Informative plausibility, and G5 Computational efficiency. Following the guidelines, we conducted a systematic evaluation on a novel problem of multi-modal medical image explanation with two clinical tasks, and proposed new evaluation metrics accordingly. Sixteen commonly-used heatmap XAI techniques were evaluated and found to be insufficient for clinical use due to their failure in G3 and G4. Our evaluation demonstrated the use of Clinical XAI Guidelines to support the design and evaluation of clinically viable XAI.

研究の動機と目的

• 医用画像解析における臨床的XAIの標準化された評価基準の欠如に応える。
• 技術的XAI評価と臨床的実用性のギャップを埋めるために、現実の医療意思決定と整合する基準を定義する。
• XAI技術が技術的に妥当であるだけでなく、臨床的に意味があり、運用上実現可能であることを保証する。
• マルチモodalな医用画像タスクにおける説明の臨床的妥当性と真実性を評価するための新しい評価指標を開発する。
• 16種類の一般的なXAI手法を評価することで、フレームワークの有効性を実証し、その臨床的欠陥を特定する。

提案手法

• 臨床的XAIのための5つの核心的基準を提唱：理解可能性、臨床的関連性、真実性、情報的妥当性、計算効率。
• G1（理解可能性）およびG2（臨床的関連性）に基づく説明形式を定義し、その後G3（真実性）、G4（情報的妥当性）、G5（計算効率）を最適化する。
• マルチモーダル画像における重要な特徴およびモodalの局在化を測定することで、妥当性を定量化するMSFI指標を導入。
• MSFIスコアと医師の評価との間の相関分析を用いて、妥当性指標の妥当性を検証。
• 説明の質とモデルの性能、予測の正しさ、不確実性との相関を測定することで、真実性を評価。
• 実行時間とリソース使用量を測定することで計算効率を評価し、時間に敏感な臨床ワークフローを重視する。

実験結果

リサーチクエスチョン

• RQ1 XAI技術はどのようにして、医用画像解析において技術的に妥当でありながら臨床的に有用であることを保証できるか？
• RQ2 臨床的導入において最も重要なXAI評価基準は何か。また、それらはどのように優先順位をつけるべきか？
• RQ3 既存のヒートマップベースのXAI手法は、臨床現場において真実性と情報的妥当性の要件をどの程度満たしているか？
• RQ4 妥当性を定量化する指標（例：MSFI）は、XAIの臨床的有用性を評価する際に人間の評価に代わって信頼できるか？
• RQ5 時間に敏感な臨床意思決定支援において、XAIが実用的であるために必要な計算効率の閾値は何か？

主な発見

• 16種類の一般的に使用されるヒートマップXAI手法は、真実性（G3）および情報的妥当性（G4）の基準を満たしておらず、臨床的有用性が制限されている。
• 妥当性を定量化するためのMSFI指標は、医師の評価と有意に相関しており、臨床的妥当性の代理指標としての有効性が裏付けられた。
• 説明の妥当性指標は、モデルの性能および予測の正しさと相関しており、AIの誤りやバイアスを検出するうえで有用であることが示された。
• 計算効率には大きな差が認められた：勾配ベースの手法は10秒未塔で説明を生成するが、Shapley Value Samplingは最大30分を要し、リアルタイム利用には不適切である。
• Clinical XAIガイドラインは、XAIの設計と評価を支援する構造的フレームワークを提供し、正確かつ臨床的行動可能な手法の選定を可能にする。
• MSFIのような指標による妥当性の定量化により、主観的な人間評価に依存せず、再現可能で自動的かつ標準化されたXAI有用性の検証が可能になる。