[論文レビュー] Interpretable Data-Based Explanations for Fairness Debugging

Romila Pradhan, Jiongli Zhu+2 more|arXiv (Cornell University)|Dec 17, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

Gopher は、モデルのバイアスの原因となる訓練データのパターンを特定することで、機械学習における公平性の問題のデバッグに新しい枠組みを提供する。このフレームワークは、解釈可能で要約された、因果的に責任のある訓練データパターンを同定し、それらのパターンの削除または更新によってバイアスを最も低減できるかをランキングすることで、開発者がバイアスの根本的要因を訓練データの源として特定・是正できるようにする。

ABSTRACT

A wide variety of fairness metrics and eXplainable Artificial Intelligence (XAI) approaches have been proposed in the literature to identify bias in machine learning models that are used in critical real-life contexts. However, merely reporting on a model's bias, or generating explanations using existing XAI techniques is insufficient to locate and eventually mitigate sources of bias. We introduce Gopher, a system that produces compact, interpretable and causal explanations for bias or unexpected model behavior by identifying coherent subsets of the training data that are root-causes for this behavior. Specifically, we introduce the concept of causal responsibility that quantifies the extent to which intervening on training data by removing or updating subsets of it can resolve the bias. Building on this concept, we develop an efficient approach for generating the top-k patterns that explain model bias that utilizes techniques from the machine learning (ML) community to approximate causal responsibility and uses pruning rules to manage the large search space for patterns. Our experimental evaluation demonstrates the effectiveness of Gopher in generating interpretable explanations for identifying and debugging sources of bias.

研究の動機と目的

• 既存の XAI メソッドが訓練データの源までバイアスをたどることができないというギャップを埋める。
• 予期しない、または差別の的なモデル行動を解釈可能で要約され、因果的に根拠のある説明を生成するシステムを開発する。
• 特定の訓練データサブセットが不平等な結果をもたらしていることを特定することで、機械学習の実務家がバイアスをデバッグおよび是正できるようにする。
• 公平性デバッグにおける訓練データサブセットの因果的責任の概念を形式化する。
• バイアスを最も低減する可能性がある上位 k 個のデータパターンを特定するスケーラブルな手法を提供する。

提案手法

• 訓練データサブセットの削除または更新がモデルバイアスをどの程度低減するかを測定するための因果的責任の概念を導入する。
• 機械学習とプリーニングルールの技術を用いて、膨大な数の潜在的データパターンの探索空間を効率的に管理するアルゴリズムを構築する。
• パターンマイニングを用いて、バイアスと因果的に関連する一貫性があり解釈可能な訓練データサブセットを発見する。
• 上位 k 個の影響力のあるデータパターンを返すためのトップ k 選択戦略を採用する。
• 将来的な効率性向上のため、データベースプロバンセンスとマシン・アンラーニングの技術を統合する可能性を活用する。
• 計算コストを削減しながら、責任のあるデータサブセットを特定する際の正確性を維持するためのプリーニングヒューリスティクスを適用する。

実験結果

リサーチクエスチョン

• RQ1 不平等なモデル行動の原因となる訓練データパターンは何か？
• RQ2 上位 k 個の訓練データサブセットを、バイアスを最も低減するように削除または更新することで、どのように効率的に同定できるか？
• RQ3 特定の訓練データにたどり着く解釈可能で要約され、因果的に根拠のあるバイアスの説明を生成できるか？
• RQ4 因果的責任と相関に基づく説明や特徴に基づく説明とを比較した場合、バイアスの根本原因を特定する上でどちらが優れているか？
• RQ5 このフレームワークは、決定木ベースやクラスタリングアルゴリズムなどの微分不能なモデルへも拡張可能か？

主な発見

• Gopher は、解釈可能なデータパターンを効果的に同定し、例えば「独身の女性で住宅所有者」といったパターンがローン予測における性別バイアスの根本原因であることを明らかにした。
• システムは因果的責任の近似値を効率的に計算でき、上位 k 個の責任のある訓練データサブセットのスケーラブルな同定を可能にした。
• 実験的評価により、Gopher の説明が、バイアスの原因が明確に分かっているデータセットにおける既知のバイアス源を正しく特定していることが確認された。
• Gopher の説明は、特徴ベースやインスタンスベースの XAI メソッドよりも、訓練データにおけるバイアスの根本原因を診断する上で優れていることが示された。
• このアプローチは、訓練データの不均衡、誤分類、測定誤差に起因するバイアスの検出および説明に有効である。
• このアプローチは一般化可能であり、微分可能なモデルに限らず、幅広い機械学習モデルへの対応が可能である。