[論文レビュー] The Promise and Peril of Human Evaluation for Model Interpretability

Bernease Herman|arXiv (Cornell University)|Nov 20, 2017

Explainable Artificial Intelligence (XAI)参考文献 10被引用数 45

ひとこと要約

本論文は、解釈可能AIにおける記述的説明と説得的説明の間の重要な違いを提示し、機能的解釈可能性が人間の認知およびユーザーの好みと相関しているため、認知バイアスを間接的に組み込む可能性があると主張する。説明モデルから認知機能を分離するための2つの研究方向性を提案することで、正確性と解釈可能性のトレードオフをよりよく制御しつつ、透明性を維持できるようにする。

ABSTRACT

Transparency, user trust, and human comprehension are popular ethical motivations for interpretable machine learning. In support of these goals, researchers evaluate model explanation performance using humans and real world applications. This alone presents a challenge in many areas of artificial intelligence. In this position paper, we propose a distinction between descriptive and persuasive explanations. We discuss reasoning suggesting that functional interpretability may be correlated with cognitive function and user preferences. If this is indeed the case, evaluation and optimization using functional metrics could perpetuate implicit cognitive bias in explanations that threaten transparency. Finally, we propose two potential research directions to disambiguate cognitive function and explanation models, retaining control over the tradeoff between accuracy and interpretability.

研究の動機と目的

• 人間評価を通じて解釈可能機械学習における透明性の倫理的課題に取り組む。
• 機能的解釈可能性が説明モデルに潜在的な認知バイアスを反映・強化する仕組みである可能性を特定する。
• 認知機能と説明モデルを分離する研究方向性を提案し、公平性を損なわずに解釈可能性を維持する。
• 認知的好みを機能的指標から分離することで、正確性と解釈可能性のトレードオフをよりよく制御できるようにする。

提案手法

• 記述的説明（正確で事実に基づく）と説得的説明（認識に影響を与えるように設計されたもの）を区別する概念的枠組みを導入する。
• 機能的解釈可能性と認知機能の相関を分析し、ユーザーの好みが客観的な解釈可能性ではなく認知バイアスを反映している可能性を示唆する。
• 認知メカニズムと説明モデル設計を明確に分離する研究方向性を提案し、バイアスの拡散を回避する。
• ユーザーの認識とモデルの忠実度を分離する評価フレームワークを提唱し、制御された人間実験を用いて認知的要因を隔離する。
• ユーザーの好みに依存しない説明品質の評価指標を開発し、明確さの「感じ」ではなく機能的有用性に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルにおける機能的解釈可能性は、客観的な解釈可能性よりも、根本的な認知機能をどれほど反映しているのか？
• RQ2 説明評価におけるユーザーの好みは、潜在的な認知バイアスをどれほど内包しているのか？
• RQ3 認知機能と説明モデルのパフォーマンスを分離する評価手法を設計することは可能か？
• RQ4 実世界の応用において、好みに基づく指標を用いることがモデルの解釈可能性に及ぼす影響は何か？

主な発見

• 機能的解釈可能性は認知機能と相関している可能性があり、説明評価におけるユーザーの好みが客観的なモデルの明確さではなく認知バイアスを反映している可能性がある。
• 機能的指標を用いる場合、認知的影響とモデルの忠実度を区別しないと、人間による評価が潜在的なバイアスを強化するリスクをはらむ。
• 評価が真の解釈可能性を反映しているのか、それとも主観的な説得力に過ぎないかを特定するには、記述的説明と説得的説明の区別が不可欠である。
• 透明性を維持し、偏ったユーザーの認識を強化しないようにするには、認知メカニズムと説明モデルを分離することが不可欠である。