[論文レビュー] Confidence Intervals for Testing Disparate Impact in Fair Learning

Philippe Besse, Eustasio del Barrio+2 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Causal Inference Techniques参考文献 10被引用数 6

ひとこと要約

この論文は、デルタ法を用いて、主な公平性指標の漸近的分布を導出し、機械学習におけるグループベースの差別の統計的検定に有効な信頼区間を可能にしている。著者らは、単一の点での公平性スコアの代わりに信頼区間を用いることで、不正な不公平の評価を低減すべきだと提唱している。

ABSTRACT

We provide the asymptotic distribution of the major indexes used in the statistical literature to quantify disparate treatment in machine learning. We aim at promoting the use of confidence intervals when testing the so-called group disparate impact. We illustrate on some examples the importance of using confidence intervals and not a single value.

研究の動機と目的

• 単一の点での公平性スコアに代えて信頼区間を用いることで、公平性評価における統計的厳密性の欠如を是正すること。
• デルタ法の枠組みにおいて、差し押さえ影響（DI）や条件付き精度（CA1）などの主要な公平性指標の漸近的分布を提供すること。
• 不確実性の定量化を公平性テストに組み込むことで、誤った陽性の差別主張のリスクを低減すること。
• 信頼区間を公平性評価の標準的実践として推進し、ヒューリスティック的またはリサンプリングに基づくアプローチを超えること。
• 保護属性を伴う二値分類における公平性指標の統計的推論に対して、理論的に裏付けられ、漸近的に有効な方法を確立すること。

提案手法

• 標本割合の連合分布を変換することで、公平性指標の漸近的分布をデルタ法を用いて導出する。
• 予測、結果、保護属性のインジケータ変数の連合分布を、既知の平均と分散共分散行列を有する4次元ベクトルとしてモデル化する。
• DI = (P(Y=1|S=0) / P(Y=1|S=1)) のように確率の比として定義される公平性指標を、経験的割合の関数 φ として表現する。
• 中心極限定理を用いて、インジケータ変数の4次元ベクトルの標本平均の漸近的正規性を確立する。
• デルタ法を適用し、変換された指標（例：DI や CA1）の漸近的分布を、勾配と分散共分散行列から導出された平均および分散を持つ正規分布として得る。
• 変換関数 φ の勾配と経験的共分散行列を用いて、公平性指標の漸近的分散を導出する。

実験結果

リサーチクエスチョン

• RQ1 適切な不確実性の定量化を伴って、機械学習モデルにおける差し押さえ影響を統計的にテストする方法は何か？
• RQ2 標準的な標本抽出仮定の下で、差し押さえ影響（DI）指標の漸近的分布は何か？
• RQ3 リサンプリングやガウス近似に依存せずに、公平性指標の信頼区間を導出できるか？
• RQ4 条件付き精度（CA1）の漸近的分布は、差し押さえ影響のそれとどのように異なるか？
• RQ5 点推定値ではなく信頼区間を用いることで、誤った差別主張の検出にどのような影響を与えるか？

主な発見

• デルタ法を用いて差し押さえ影響（DI）指標の漸近的分布を導出し、統計的検定に有効な信頼区間を可能にした。
• 条件付き精度（CA1）指標の漸近的分布も導出し、公平性評価における不確実性の定量化を可能にした。
• インジケータ変数の4次元ベクトルの分散共分散行列を明示的に計算し、予測、結果、保護属性インジケータ間の依存関係を考慮した。
• 公平性指標の漸近的分散は、変換関数 φ の勾配と経験的共分散行列から導出され、閉形式の式が得られた。
• リサンプリングやガウス仮定を回避し、既存のアプローチに対する理論的裏付けのある代替手法を提供した。
• 点推定値にのみ依存すると、誤った差別主張に至る可能性があることが結果から示され、信頼区間がそのリスクを軽減するのを支援することがわかった。