[論文レビュー] "Explanation" is Not a Technical Term: The Problem of Ambiguity in XAI

Leilani H. Gilpin, Andrew R. Paley+3 more|arXiv (Cornell University)|Jun 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

この論文は、XAIにおける「説明」の用語が一貫した技術的定義を欠いているため、機能的に役立たずの説明が生じることを主張している。説明の機能的で、対象者に特化した評価フレームワークを提唱し、忠実度、解釈可能性、正確性といった指標を用いて評価を行う。説明が多様なユーザーと文脈においてその意図した役割を果たせるようにするため、標準化された「栄養成分表示」システムの導入を提言する。

ABSTRACT

There is broad agreement that Artificial Intelligence (AI) systems, particularly those using Machine Learning (ML), should be able to "explain" their behavior. Unfortunately, there is little agreement as to what constitutes an "explanation." This has caused a disconnect between the explanations that systems produce in service of explainable Artificial Intelligence (XAI) and those explanations that users and other audiences actually need, which should be defined by the full spectrum of functional roles, audiences, and capabilities for explanation. In this paper, we explore the features of explanations and how to use those features in evaluating their utility. We focus on the requirements for explanations defined by their functional role, the knowledge states of users who are trying to understand them, and the availability of the information needed to generate them. Further, we discuss the risk of XAI enabling trust in systems without establishing their trustworthiness and define a critical next step for the field of XAI to establish metrics to guide and ground the utility of system-generated explanations.

研究の動機と目的

• XAIにおける根本的問題を特定する：説明の共通の技術的定義が欠如しており、その結果、不適切に整合性を欠いた説明が生じる。
• 現在のXAI手法は、しばしば技術的には妥当な説明を生成するが、対象ユーザーの知識や機能的役割と不一致であるため、ユーザーのニーズに応えられないことの主張。
• 一様な説明から、説明の役割、対象者、データアクセスに基づいて評価される機能的モデルへの移行を提唱する。
• 忠実度、解釈可能性、正確性、詳細度といった客観的指標を用いて説明を評価するための標準化されたメトリクスの導入を提唱する。
• 説明のための「栄養成分表示」の概念を提唱し、複数の基準に基づいて信頼性と適性を評価できるようにする。

提案手法

• 説明の機能的ビューを提唱し、その役割（例：デバッグ、インタラクション、信頼構築）、対象者（例：開発者、ユーザー、規制当局）、システム能力に基づいて分類する。
• 4つの主要な評価次元を導入する：解釈可能性（言語およびフォーマット）、正確性（モデルの真実性に近いかどうか）、詳細度（詳細の度合い）、忠実度（説明がモデルの意思決定プロセスをどれだけ的確に反映しているか）。
• 表1に示すマトリクスを用いて、対象者と4次元における理想的な説明特性をマッピングし、異なる役割が異なるタイプの説明を要請することを示す。
• 説明のための「栄養成分表示」の概念を導入し、忠実度、解釈可能性、正確性、詳細度といったメトリクスの要約として、ステークホルダーが説明の質と信頼性を評価できるようにする。
• 説明が演繹的で論理的に整合性があること、主張が前の主張から導かれることが、効果的で信頼できる説明であるために不可欠であることを強調する。
• 忠実度を数量化することを提唱する（例：「85％忠実」）ことで、説明の信頼性に対する測定可能な自信を提供する。

実験結果

リサーチクエスチョン

• RQ1 XAIの文脈において『説明』とは実際に何を意味するのか。その曖昧さがシステム設計やユーザー信頼に与える問題は何か。
• RQ2 デバッグ、インタラクション、信頼構築などの機能的役割が、効果的な説明に求められる要件をどのように規定するのか。
• RQ3 現在のXAI手法が、技術的には妥当だが、意図した対象者にとって機能的に不十分な説明を生じる程度はどの程度か。
• RQ4 多様な対象者と使用状況において、説明の質をどのように客観的に評価できるか。
• RQ5 説明が単に説得力があるのではなく、実用的で信頼できるものであることを保証するための指標と評価フレームワークは何か。

主な発見

• 『説明』という語は、複数の日常的・技術的意味を持つスーツケース語であり、生成された説明とユーザーのニーズとの間で広範な不整合を引き起こしている。
• LIME、SHAP、サリエンシー・マップなどの現在のXAI手法は、脆弱で簡単にだまされやすく、元のモデルの意思決定プロセスから乖離した忠実度の低い説明を生成することが多い。
• 技術的には正しい説明であっても、対象者が分野的・技術的知識を持たない場合、新たなインサイトを提供せず、解釈不能であることがある。
• 忠実度、解釈可能性、正確性、詳細度を要約した「栄養成分表示」は、ユーザーとステークホルダーが信頼性と適性を判断するための意思決定を支援する。
• 忠実度は重要な指標だが、現在は評価が不十分であることが本研究で判明した。例えば、ある手法が85％忠実であるとは、モデルの真の推論を反映しない15％のケースがあることを意味する。
• 本論文は、XAIが説明を技術的特徴として推進するのではなく、機能的役割、対象者の知識、測定可能な指標に基づくものに転換すべきだと結論づける。これにより、単なる信頼ではなく、信頼性のある説明を実現できる。