[論文レビュー] Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations

Edward Small, Yueqing Xuan+2 more|arXiv (Cornell University)|Mar 2, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文は、理解、信頼、満足の3-C評価フレームワーク—理解、信頼、満足—を導入し、数学的、視覚的、文章的など、基本的なAI説明の構成要素が多様なユーザーによっていかに認識されるかを評価する。説明の効果は、ユーザーの背景、モダリティ、認知的負荷によって顕著に異なることが示され、誤解や混乱を招く説明を防ぐために、XAIにおける人間中心の評価が不可欠であると提言する。

ABSTRACT

Explainable artificial intelligence techniques are developed at breakneck speed, but suitable evaluation approaches lag behind. With explainers becoming increasingly complex and a lack of consensus on how to assess their utility, it is challenging to judge the benefit and effectiveness of different explanations. To address this gap, we take a step back from sophisticated predictive algorithms and instead look into explainability of simple decision-making models. In this setting, we aim to assess how people perceive comprehensibility of their different representations such as mathematical formulation, graphical representation and textual summarisation (of varying complexity and scope). This allows us to capture how diverse stakeholders -- engineers, researchers, consumers, regulators and the like -- judge intelligibility of fundamental concepts that more elaborate artificial intelligence explanations are built from. This position paper charts our approach to establishing appropriate evaluation methodology as well as a conceptual and practical framework to facilitate setting up and executing relevant user studies.

研究の動機と目的

• 説得力のあるAI（XAI）における合意形成の欠如と標準化された評価の不在、特に非専門家ユーザーを対象に、これを是正すること。
• エンジニア、規制当局、消費者といった異なるステークホルダーが、基本的な説明タイプ（数学的、視覚的、文章的）の理解可能性をいかに認識しているかを調査すること。
• 説明が正当な信頼を生むのか、あるいは誤解や過剰依存を引き起こすのかを特定すること。
• 人口統計的・認知的差異を考慮に入れた人間中心の評価フレームワークを構築すること。
• モデルの忠実度だけでなく、ユーザーの理解度、信頼度、満足度に基づいてXAIツールを評価する基盤を確立すること。

提案手法

• 3-C評価フレームワークを提唱：理解（説明内容と欠落している部分の知識）、信頼（理解の確実性）、満足（認識された信頼性と情報量）。
• 制御されたオンラインユーザースタディを実施し、単純な予測モデル（線形回帰、ロジスティック回帰、意思決定木）から直接導出された説明を用いることで、忠実度と真実性を保証する。
• 複数のモダリティを通じて説明を提示：数学的表現、可視化（例：意思決定境界、特徴量の重要度）、文章要約（対象的反事後説明を含む）、ハイブリッド形式。
• 実世界のシナリオ（例：ローン承認）を用いることで、生態的妥当性を高め、特に高リスク分野での参加者の関与を促進する。
• 一部の条件では、分野固有の用語を架空の語彙に置き換えることで、背景知識に起因するバイアスを低減する。
• 人口統計データを収集し、異なるユーザー集団における説明認識の格差を分析する。

実験結果

リサーチクエスチョン

• RQ1 多様な背景を持つユーザーが、異なるモダリティを通じて基本的なAI説明の構成要素をどのように解釈・評価するか。
• RQ2 説明タイプや提示形式が、理解度、信頼度、満足度にどの程度影響を及ぼすか。
• RQ3 認知的負荷や情報の豊かさが、説明の有用性をどのように損なうか。
• RQ4 特定の説明モダリティが他のものよりも誤解や過剰信頼を引き起こしやすいか。
• RQ5 人口統計的・教育的差異が、説明の質や信頼性の認識にどのように影響するか。

主な発見

• 理解度は説明のモダリティによって顕著に異なる。文章および視覚的フォーマットは、密度の高い数学的表現よりもユーザーの理解度が高くなる傾向にある。
• 理解への信頼度は、実際の理解度と必ずしも相関しない。これは、誤った解釈に対して過剰な自信を持つ可能性を示唆している。
• 説明が簡潔で、重要な意思決定要因を強調している場合、満足度は高くなる。これは、包括的でない場合でも成立する。
• 情報過多は主要な障壁である。詳細すぎる説明は、理解度を向上させないまま、明確さを損ないや認知的負荷を増加させる。
• 技術的リテラシーが低いユーザーは、内容が事実であるにせよ、数学的・形式的表現に対してより困難を感じる。
• 対象的反事後説明（例：「収入が1万ユーロ多くあったらローンが承認されていた」）は、抽象的なモデルパラメーターよりも直感的な理解を促進する点で効果的である。