[論文レビュー] Why we do need Explainable AI for Healthcare

Giovanni Cinà, Tabea E. Röber+2 more|arXiv (Cornell University)|Jun 30, 2022

Artificial Intelligence in Healthcare and Education被引用数 14

ひとこと要約

この論文は、説得力のある批判にもかかわらず、医療分野における説明可能AI（XAI）が不可欠であると主張している。XAIは人間の監視を可能にし、バイアスのリスクや制御の喪失を軽減し、臨床意思決定におけるAIの信頼できる統合を支援する。著者らは、臨床医の意思決定の主権を維持し、患者ケアの非人間化を防ぐために、XAI技術の継続的な研究と責任ある展開を提唱する。

ABSTRACT

The recent spike in certified Artificial Intelligence (AI) tools for healthcare has renewed the debate around adoption of this technology. One thread of such debate concerns Explainable AI and its promise to render AI devices more transparent and trustworthy. A few voices active in the medical AI space have expressed concerns on the reliability of Explainable AI techniques, questioning their use and inclusion in guidelines and standards. Revisiting such criticisms, this article offers a balanced and comprehensive perspective on the utility of Explainable AI, focusing on the specificity of clinical applications of AI and placing them in the context of healthcare interventions. Against its detractors and despite valid concerns, we argue that the Explainable AI research program is still central to human-machine interaction and ultimately our main tool against loss of control, a danger that cannot be prevented by rigorous clinical validation alone.

研究の動機と目的

• 説明可能AI（XAI）の信頼性と実用性に関する医療分野における懸念が高まっているのを踏まえ、その問題に取り組むこと。
• XAI技術に対する精度、使いやすさ、臨床現場における適正性を疑問視する批判を評価し、反論すること。
• XAIが、医学分野におけるますます複雑化するAIシステムに対する人間の監視と制御を維持するために不可欠であると主張すること。
• XAIは臨床的妥当性の代替手段ではなく、安全性と信頼性を確保するための不可欠な補完的要素であることを強調すること。
• 多様なユーザーのニーズや臨床的文脈に応じた、責任あるXAIの開発と展開を促進すること。

提案手法

• 医療分野におけるXAIに対する主な批判を体系的レビューし、批判的分析すること。
• 局所的・グローバル的、モデル固有・モデルに依存しないXAI技術の区別をし、ブラックボックスモデルに対する事後的説明に重点を置くこと。
• 敵対的攻撃、分布シフト、信頼性の低い説明といった失敗モードを分析し、認識と改善によってこれらが管理可能であると主張すること。
• XAIがバイアスの検出、臨床意思決定支援、監査可能性と責任の確保に果たす役割を評価すること。
• 単一の手法を強制しない柔軟でユーザー指向のXAIの使用を可能にする、規制的・メソドロジカルなフレームワークの提言。
• 多様な臨床ユーザーのニーズに応えるためのインタラクティブな機械学習と文脈に配慮した説明設計の強調。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃や分布シフトといった既知の失敗モードがあるにもかかわらず、XAI技術は信頼できるだろうか？
• RQ2 XAIは、高リスクな医療分野におけるAIアプリケーションで、人間の監視をどの程度支援し、制御の喪失を防げるだろうか？
• RQ3 臨床AIシステムにおいて、モデルのパフォーマンスと説明可能性の間には、妥当なトレードオフが存在するだろうか？
• RQ4 一様なアプローチをとらずに、XAIはどのように異なる臨床ユーザーと用途に適応できるだろうか？
• RQ5 バイアスのリスクや予期しない結果の発生リスクが高く、人間の健康に深刻な影響を及える医療分野において、XAIが他の分野と比べて特に必要とされる理由は何か？

主な発見

• 敵対的ノイズへの感受性や信頼性の低い説明といった制限があるものの、XAI技術はAI駆動医療における透明性と信頼性を高める貴重なツールのままである。
• XAIは、医師がバイアスを検出し、モデルの挙動を理解し、臨床的専門知識と組み合わせてより良い意思決定を下すのを支援する。
• 説明可能性には客観的な基準がないが、これはXAIを無効にするものではなく、文脈に応じた評価と継続的な改善を求めるものである。
• XAIは、きめ細やかな臨床的妥当性の代替手段ではないが、不測の被害を防ぐための追加的な監視層として不可欠な役割を果たす。
• AIが偶然的な相関関係に依存するおそれや、代表されていないグループに対して性能を発揮しないリスクを考慮すると、医療分野における説明可能性の必要性が顕著になる。
• 著者らは、XAIを放棄するべきではなく、むしろ積極的に発展させるべきだと結論づける。なぜなら、XAIは人間の制御を維持し、患者ケアの非人間化を防ぐために中心的な役割を果たすからである。