[論文レビュー] Explainable AI, but explainable to whom?

Julie Gerlings, Millie Søndergaard Jensen+1 more|arXiv (Cornell University)|Jun 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 79被引用数 5

ひとこと要約

本稿は、COVID-19のICU分類システムを対象として、健康ケア分野における説明可能AI（xAI）におけるステークホルダー固有の説明ニーズを調査している。開発者、臨床医、意思決定者、患者の各グループがそれぞれ異なる説明を必要としていることが明らかになった。これは、xAIが単一の「ユーザー」を想定しているという前提に反するものであり、信頼性と実装の向上を図るため、多様なステークホルダーに適合した説明を設計するフレームワークを提示している。

ABSTRACT

Advances in AI technologies have resulted in superior levels of AI-based model performance. However, this has also led to a greater degree of model complexity, resulting in 'black box' models. In response to the AI black box problem, the field of explainable AI (xAI) has emerged with the aim of providing explanations catered to human understanding, trust, and transparency. Yet, we still have a limited understanding of how xAI addresses the need for explainable AI in the context of healthcare. Our research explores the differing explanation needs amongst stakeholders during the development of an AI-system for classifying COVID-19 patients for the ICU. We demonstrate that there is a constellation of stakeholders who have different explanation needs, not just the 'user'. Further, the findings demonstrate how the need for xAI emerges through concerns associated with specific stakeholder groups i.e., the development team, subject matter experts, decision makers, and the audience. Our findings contribute to the expansion of xAI by highlighting that different stakeholders have different explanation needs. From a practical perspective, the study provides insights on how AI systems can be adjusted to support different stakeholders needs, ensuring better implementation and operation in a healthcare context.

研究の動機と目的

• 健康ケアAIシステムにおける異なるステークホルダーが説明をどのように認識・要求しているかを理解すること。
• AI開発および導入プロセスにおける多様なステークホルダーグループの具体的な説明ニーズを特定すること。
• xAIの説明が、単に最終ユーザーまたは臨床医のためのものであると仮定する考え方に疑問を呈すること。
• ICUトリアージ用AIシステム開発過程において、ステークホルダー固有の懸念から説明ニーズがどのように生じるかを検討すること。
• 臨床現場における複数のステークホルダーを支援するxAIシステムの設計に実用的洞察を提供すること。

提案手法

• COVID-19患者のICU受入を分類するAIシステムの開発に参加するステークホルダーを対象とした定性的研究を実施した。
• ステークホルダーを4つのグループに分類した：開発チーム、専門分野のエキスパート、意思決定者、最終ユーザー／聴衆。
• システム開発中に実施したインタビューおよび文脈的調査を通じて、ステークホルダーの懸念と説明ニーズを分析した。
• モデルの信頼性、臨床的妥当性、運用可能性、倫理的責任の各分野に特化した懸念に、説明ニーズをマッピングした。
• テーマ的分析を用いて、ステークホルダーの役割ごとの説明要件のパターンを抽出した。
• 各ステークホルダーの役割と懸念に基づき、xAIの説明を特定の役割に合わせて調整するフレームワークを提唱した。

実験結果

リサーチクエスチョン

• RQ1 最終ユーザー以外の健康ケアAIシステムにおける説明を必要とする主要なステークホルダーは誰か？
• RQ2 AI開発における異なるステークホルダーグループの説明ニーズを駆り立てる具体的な懸念は何か？
• RQ3 臨床AI文脈において、開発者、臨床医、病院管理者、患者の間で説明ニーズはどのように異なるか？
• RQ4 ステークホルダー固有の懸念は、説明可能AIの設計および実装にどのように影響を与えるか？
• RQ5 実世界の健康ケア展開において、xAIを複数のステークホルダーに効果的に適合させるにはどうすればよいか？

主な発見

• 開発チーム、臨床医、意思決定者、患者といった異なるステークホルダーは、文脈に応じた固有の説明ニーズを有している。
• 説明ニーズは、単一のユーザー層から生じるのではなく、AIシステムの開発および導入に関与する複数の役割から生じる。
• 開発チームは、モデルの妥当性確認およびデバッグのための技術的説明を必要としているが、臨床医は診断の信頼性を得るための臨床的解釈性を必要としている。
• 意思決定者は、システムの運用可能性とリスクに基づいた説明を必要としており、これは運用可能性と規制適合性の評価に不可欠である。
• 患者および一般大衆は、AIによる医療意思決定に対する信頼を築くために、倫理的配慮と透明性に焦点を当てた説明を必要としている。
• 本研究は、一様なアプローチによる説明では、ステークホルダーの多様なニーズに対応できないことが示されており、役割に応じたxAI設計の必要性を示している。