[論文レビュー] An Empirical Comparison of Explainable Artificial Intelligence Methods for Clinical Data: A Case Study on Traumatic Brain Injury

Amin Nayebi, Sindhu Tipirneni+3 more|arXiv (Cornell University)|Aug 13, 2022

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本研究では、脳震盪（TBI）の臨床予測モデルに対して、6つの解釈可能AI（XAI）手法—SHAP、LIME、Grad-CAM、LRP、Anchors、TreeInterpreter—を、表形式データおよび時系列生理的データの両方を用いて評価した。SHAPは忠実度と安定性が最も高く、Anchorsは理解しやすさが最も優れていたが、表形式データに限定されていた。これは、臨床応用におけるXAI選定におけるトレードオフを示している。

ABSTRACT

A longstanding challenge surrounding deep learning algorithms is unpacking and understanding how they make their decisions. Explainable Artificial Intelligence (XAI) offers methods to provide explanations of internal functions of algorithms and reasons behind their decisions in ways that are interpretable and understandable to human users. . Numerous XAI approaches have been developed thus far, and a comparative analysis of these strategies seems necessary to discern their relevance to clinical prediction models. To this end, we first implemented two prediction models for short- and long-term outcomes of traumatic brain injury (TBI) utilizing structured tabular as well as time-series physiologic data, respectively. Six different interpretation techniques were used to describe both prediction models at the local and global levels. We then performed a critical analysis of merits and drawbacks of each strategy, highlighting the implications for researchers who are interested in applying these methodologies. The implemented methods were compared to one another in terms of several XAI characteristics such as understandability, fidelity, and stability. Our findings show that SHAP is the most stable with the highest fidelity but falls short of understandability. Anchors, on the other hand, is the most understandable approach, but it is only applicable to tabular data and not time series data.

研究の動機と目的

• 脳震盪（TBI）の臨床的意思決定を文脈として、複数のXAI手法を評価・比較すること。
• 構造化された表形式データおよび時系列生理的データの両方において、XAI技術の性能を評価すること。
• 実臨床環境における解釈可能性の主要な側面、すなわち理解しやすさ、忠実度、安定性の間のトレードオフを同定すること。
• データタイプと解釈可能性要件に応じて、研究者が適切なXAI手法を選定できるように支援すること。

提案手法

• 2つの臨床予測モデルを構築した：表形式データを用いた短期TBI予後予測モデルと、時系列生理的データを用いた長期予後予測モデル。
• SHAP、LIME、Grad-CAM、LRP、Anchors、TreeInterpreterの6つのXAI手法を、両モデルの局所的およびグローバルな解釈に適用した。
• 忠実度（説明がモデルの挙動をどれほど正確に反映しているか）、安定性（入力の微小な摂動に対しても説明が一貫しているか）、理解しやすさ（人間ユーザーにとっての明確さ）といった指標を用いて、解釈可能性を評価した。
• モデルに依存しない手法とモデルに依存する手法の両方を対象とし、異なるデータモダリティへの適用可能性に特に注目した。
• 標準化された評価基準を用いて、6つのXAI手法間で説明を定性的および定量的に比較した。
• 研究の実用的妥当性を確保するため、実臨床のTBIデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 表形式データおよび時系列臨床データの両方において、どのXAI手法がモデル予測の最も忠実な説明を提供するか？
• RQ2 異なるXAI手法は、臨床予測モデルに適用された場合、安定性および一貫性においてどのように比較されるか？
• RQ3 医療文脈において、理解しやすさと技術的性能（例：忠実度）の間にはどのようなトレードオフがあるか？
• RQ4 XAI手法は時系列生理的データにどの程度適用可能か？また、どの手法が表形式入力に限定されるか？
• RQ5 XAI手法の解釈可能性特性は、臨床意思決定支援システムへの適性にどのように影響するか？

主な発見

• SHAPは、表形式および時系列モデルの両方で最も高い忠実度と安定性を示し、信頼性の高い説明生成が可能であることを示した。
• Anchorsは、特に表形式データにおいて最も理解しやすい説明を提供したが、構造的制約のため時系列データには適用不可能であった。
• LIMEおよびGrad-CAMは中程度の忠実度を示したが、安定性が低く、入力の微小な摂動に対しても説明が著しく変化した。
• LRPおよびTreeInterpreterは性能が混合しており、LRPは深層モデルでは高い忠実度を示したが理解しにくく、TreeInterpreterは木ベースのモデルに限定されていた。
• 本研究では、1つのXAI手法がすべての解釈可能性次元で優れていることはなく、臨床的およびデータ固有の要件に基づいた手法選定の重要性が確認された。
• 時系列データはXAI手法に特有の課題をもたらし、SHAPおよびLIMEを除いては妥当な性能を示さなかった。AnchorsおよびLRPは適用不可能であった。