[論文レビュー] Why do explanations fail? A typology and discussion on failures in XAI

Clara Bove, Thibault Laugel+3 more|arXiv (Cornell University)|May 22, 2024

Scientific Computing and Data Management被引用数 4

ひとこと要約

本稿は、eXplainable AI (XAI) における障害の包括的タイプロジーを提案し、システム固有の障害とユーザー固有の障害を区別することで、説明の破綻に起因する複雑で重複する要因に対処する。技術的制限と人間の解釈の問題を分析することで、主要な障害カテゴリを同定し、説明の質と信頼性を向上させるために、透明性の向上、ユーザー中心のインターフェース、および学際的デザインを提唱する。

ABSTRACT

As Machine Learning models achieve unprecedented levels of performance, the XAI domain aims at making these models understandable by presenting end-users with intelligible explanations. Yet, some existing XAI approaches fail to meet expectations: several issues have been reported in the literature, generally pointing out either technical limitations or misinterpretations by users. In this paper, we argue that the resulting harms arise from a complex overlap of multiple failures in XAI, which existing ad-hoc studies fail to capture. This work therefore advocates for a holistic perspective, presenting a systematic investigation of limitations of current XAI methods and their impact on the interpretation of explanations. % By distinguishing between system-specific and user-specific failures, we propose a typological framework that helps revealing the nuanced complexities of explanation failures. Leveraging this typology, we discuss some research directions to help practitioners better understand the limitations of XAI systems and enhance the quality of ML explanations.

研究の動機と目的

• 説明の障害に関する断片的な理解を是正し、技術的側面と人間中心の制限が重複する要因を特定すること。
• システム固有の障害とユーザー固有の障害を区別する、体系的かつ階層的なXAI障害タイプロジーを構築すること。
• 構造化されたフレームワークを通じて、AI実務家が説明障害の根本原因を診断できるようにすること。
• コミュニケーションギャップやインタラクション制限を浮き彫りにすることで、より透明でユーザー中心のXAI設計を促進すること。
• 説明の質を向上させるための研究方向性を特定し、透明性の向上とインタラクティブなユーザーインターフェースの改善を図ること。

提案手法

• 説明、インターフェース、評価における制限に焦点を当てた、最近のXAI研究の包括的文献レビューの実施。
• 二段階のXAI障害タイプロジーの提案：システム固有（例：耐性、忠実性、安定性）とユーザー固有（例：誤解釈、過剰信頼、認知バイアス）。
• システム設計とユーザー認知の相互作用から障害が生じる仕組みを分析し、とくにメソッドの仮定について明確な説明がない場合の影響を強調。
• MLの透明性と事実記録といった設計原則を通じて、XAI手法における透明性の向上の必要性を強調。これはModel Cardsに類似した手法である。
• 対話的で会話型、物語ベースの説明提供を支援する、高度なXAIユーザーインターフェース（XUI）の開発を提唱。
• タイプロジーを活用して、障害の原因を特定し、複合障害の影響を緩和する研究分野を同定。

実験結果

リサーチクエスチョン

• RQ1 XAIにおける主な障害カテゴリは何であり、それらはどのように重複したり相互作用したりするか？
• RQ2 不安定性や忠実性の欠如といったシステムレベルの制限は、どのように説明障害を引き起こすか？
• RQ3 過去の信念、認知バイアス、理解不足といったユーザーレベルの要因は、説明の誤解にどのように寄与するか？
• RQ4 XAIシステムとユーザーの間のコミュニケーションギャップは、どのように説明障害を悪化させるか？
• RQ5 会話型、視覚的など、どのような設計原則やインターフェースモダリティが、ユーザー固有の障害を低減し、説明の理解を向上させるか？

主な発見

• 本稿は、XAI研究における深刻なギャップを特定する：障害はほとんど包括的に研究されておらず、誤診断や効果のない緩和戦略が生じている。
• システム固有の障害には、説明手法における忠実性の欠如、耐性の欠如、安定性の欠如といった問題が含まれ、説明が技術的に正確であっても、ユーザーを誤導する可能性がある。
• ユーザー固有の障害は、説明の内容とユーザーのニーズとの不一致に起因し、たとえば説明に対する過剰信頼や、認知バイアスによる誤った推論が含まれる。
• 多くの障害は、説明自体が不完全であるからではなく、ユーザーが説明手法の動作方法を理解していないことに起因している。特に、局所性と安定性のトレードオフ、および特徴間の相互作用についての理解不足が顕著である。
• 対話的で会話型、物語ベースのインターフェースが存在しないことで、ユーザーは説明を検証・探査する能力が制限され、外部の推論に依存するようになり、誤解のリスクが高まる。
• 本稿は、Model Cardsに類似した標準化されたXAI手法の文書化を提唱し、メソッドの仮定や制限を理解するのを支援することで、透明性の向上を図る。