[論文レビュー] Explaining Models: An Empirical Study of How Explanations Impact Fairness Judgment

Jonathan Dodge, Q. Vera Liao+3 more|arXiv (Cornell University)|Jan 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 23

ひとこと要約

本研究は、異なる説明スタイルが機械学習システムの人的公平性判断にどのように影響するかを実証的に調査するものである。実世界のデータセットを用い、プログラム的に生成された4つの説明タイプ（事例ベース、人口統計ベース、影響力ベース、感受性ベース）を用いて、著者らは説明スタイルが認識される公平性に顕著な影響を与えることを発見した。プロセス指向の説明（例：影響力／感受性）は信頼を高め、データ指向の説明（例：事例／人口統計）は認識される公平性を低下させる可能性がある。また、事前における公平性に関する立場の個人差も反応に影響を与え、公平なMLの展開を支援するためには、パーソナライズされ適応的な説明の必要性が浮き彫りになった。

ABSTRACT

Ensuring fairness of machine learning systems is a human-in-the-loop process. It relies on developers, users, and the general public to identify fairness problems and make improvements. To facilitate the process we need effective, unbiased, and user-friendly explanations that people can confidently rely on. Towards that end, we conducted an empirical study with four types of programmatically generated explanations to understand how they impact people's fairness judgments of ML systems. With an experiment involving more than 160 Mechanical Turk workers, we show that: 1) Certain explanations are considered inherently less fair, while others can enhance people's confidence in the fairness of the algorithm; 2) Different fairness problems--such as model-wide fairness issues versus case-specific fairness discrepancies--may be more effectively exposed through different styles of explanation; 3) Individual differences, including prior positions and judgment criteria of algorithmic fairness, impact how people react to different styles of explanation. We conclude with a discussion on providing personalized and adaptive explanations to support fairness judgments of ML systems.

研究の動機と目的

• 異なる説明スタイルが機械学習システムの人的公平性判断にどのように影響するかを調査すること。
• 特定の説明タイプが、モデル全体の公平性問題と個別事例の公平性の不一致の両方を効果的に明らかにするかどうかを検討すること。
• 個人差（例：アルゴリズムの公平性に関する事前の立場、特定の特徴量への感受性）が説明への反応にどのように作用するかを調査すること。
• 正確で信頼性のある公平性判断を支援するパーソナライズされ適応的な説明システムの設計を支援すること。

提案手法

• 事前XAI文献に基づき、自動的に生成された4つの説明スタイル（事例ベース、人口統計ベース、影響力ベース、感受性ベース）を用いた。
• 実世界のデータセットを用いて機械学習モデルを訓練し、説明生成に使用する予測結果を得た。
• 160名のAmazon Mechanical Turk作業者を対象に、異なる説明条件下での公平性判断を評価するオンライン実験を実施した。
• 参加者は、モデル全体の行動と個別予測の両方について公平性を評価し、説明はランダム順序で提示された。
• 統計的分析により、事前の公平性に関する立場や特徴量固有の見解といった個人差を制御した上で、説明タイプごとの公平性判断を比較した。
• 定性的フィードバックを収集し、ユーザーの好みや説明の明確さ・信頼性に関する認識を分析した。

実験結果

リサーチクエスチョン

• RQ1 異なる説明スタイルは、機械学習システムにおける公平性の認識にどのように影響するか？
• RQ2 どの説明スタイルが、モデル全体の公平性問題と個別事例の公平性不一致の両方を効果的に明らかにするか？
• RQ3 個人差（例：アルゴリズムの公平性に関する事前の信念、感受性の高い特徴量の見解）は、説明への反応にどのように作用するか？
• RQ4 説明は、MLの公平性判断をどの程度信頼を高めたり低下させたりするか？

主な発見

• 影響力ベースおよび感受性ベースの説明は、より信頼できると認識され、モデルの公平性に対する信頼感を高めた一方、事例ベースおよび人口統計ベースの説明は、公平性が低いと見なされた。
• プロセス指向の説明（意思決定の仕組み）は、データ指向の説明（使用されたデータ）よりも一般的に好まれたが、後者はデータ分布上の問題を浮き彫りにするのを助けた。
• MLシステムに事前に懐疑的だった参加者ほど、説明スタイルの影響を強く受けており、影響力ベースの説明が不信感をより効果的に軽減した。
• 約1/3の参加者が、人種を特徴量として使用することを中立的または公平と見なしており、個人の公平性に関する立場に顕著なばらつきがあることが示された。
• 本研究では、公平性判断が説明の内容にのみ依存するのではなく、ユーザーの公平性や特定の特徴量に関する事前の見解によっても形作られることを明らかにした。
• グローバルなモデルの洞察とローカルな事例の吟味を組み合わせたハイブリッド説明は、包括的な公平性評価において最も効果的であると認識された。