[論文レビュー] Can Explainable AI Explain Unfairness? A Framework for Evaluating Explainable AI

Kiana Alikhademi, Brianna Richardson+2 more|arXiv (Cornell University)|Jun 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 23

ひとこと要約

本論文は、機械学習モデルにおけるバイアスおよび不平等を検出・通信する能力を評価するための公平性に配慮した評価フレームワークを提案する。このフレームワークは、データ、モデル、説明の次元においてXAIツールを評価し、説明可能性の能力は高いものの、公平性検出における深刻なギャップが明らかになった。これにより、AIシステムにおける「フェアウォッシング」を防ぐために、強化されたツール開発が求められる。

ABSTRACT

Many ML models are opaque to humans, producing decisions too complex for humans to easily understand. In response, explainable artificial intelligence (XAI) tools that analyze the inner workings of a model have been created. Despite these tools' strength in translating model behavior, critiques have raised concerns about the impact of XAI tools as a tool for `fairwashing` by misleading users into trusting biased or incorrect models. In this paper, we created a framework for evaluating explainable AI tools with respect to their capabilities for detecting and addressing issues of bias and fairness as well as their capacity to communicate these results to their users clearly. We found that despite their capabilities in simplifying and explaining model behavior, many prominent XAI tools lack features that could be critical in detecting bias. Developers can use our framework to suggest modifications needed in their toolkits to reduce issues likes fairwashing.

研究の動機と目的

• XAIツールが偏ったモデルを誤って正当化する『フェアウォッシング』の増加する懸念に応えるために、体系的な評価フレームワークを構築すること。
• 既存のXAIツールが、データおよびモデル行動におけるバイアスと不平等の問題をどの程度検出・説明できるかを評価すること。
• XAIツールキット開発者が、倫理的なAI導入を支援するための公平性に配慮した機能を強化できるように導くこと。
• 説明可能AIと公平性AIの間のギャップを埋めるために、公平性評価をXAIツール設計に統合すること。

提案手法

• データ、モデル、説明の3つの主要カテゴリを有する包括的な公平性基準を策定。各カテゴリには、公平性関連の機能を評価するサブコンponentが含まれる。
• LIME、SHAP、表形式データ用LIME、画像データ用LIME、IBMのAI Explainability 360（AIX360）の5つの代表的なXAIツールを、この基準で評価した。
• バイアスのあるデータの検出能力、モデル選択の評価能力、解釈可能な公平性フィードバックの提供能力に基づいてツールを評価した。
• 合成データおよび実世界のデータセットを用いた事例研究を通じて、グループレベルおよび個人レベルの不平等を特定する能力をテストした。
• 感受性属性のサポート、サブグループ比較、事前処理段階のバイアス検出支援の有無を評価した。
• 識別された機能的ギャップとユーザー中心の使いやすさのニーズに基づき、将来のXAIツール開発に向けた設計提言を提示した。

実験結果

リサーチクエスチョン

• RQ1 現在のXAIツールは、機械学習モデルおよび学習データにおける不平等をどの程度検出し、説明できるか？
• RQ2 XAIツールは、グループレベルの不平等と個人レベルの不平等の両方をどの程度適切に特定できるか？
• RQ3 既存のXAIツールキットに欠落している重要な公平性関連機能は何か？ これらの欠落が『フェアウォッシング』を助長する仕組みは？
• RQ4 多様なMLリテラシーを持つユーザー層を対象に、公平性評価を支援するようにXAIツールをどのように強化できるか？
• RQ5 説明可能かつ公平なXAIツールの開発を導くべき設計原則は何か？

主な発見

• LIMEとSHAPは局所的な説明可能性に優れていたが、データレベルのバイアスやモデル選択の問題を検出する機能が不足していた。
• IBMのAIX360は、AIF360との統合と多様な公平性指標のサポートにより、基準評価で最高得点を記録したが、選択バイアスのような大規模なデータの不均衡には対応できていなかった。
• 大多数のXAIツールは、ラベルエンコーディングなどの事前処理ステップを評価できず、意図しない数値バイアスの導入を防げていなかった。
• サブグループ間の予測比較を完全にサポートしているツールは存在しなかったが、これはグループベースの不平等を特定する上で重要な要件である。
• 本研究では、XAIツールがモデル出力を説明する能力に優れている一方で、不平等の問題を検出・通信する能力に著しい弱みがあるという、深刻なギャップが明らかになった。
• このフレームワークは、公平性に配慮した説明可能性を重視した今後のツール開発の基盤を提供する、実行可能な欠陥を特定するのに成功した。