[論文レビュー] Auditing ML Models for Individual Bias and Unfairness

Songkai Xue, Mikhail Yurochkin+1 more|arXiv (Cornell University)|Mar 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 9

ひとこと要約

この論文は、凸最適化と漸近的推論を用いて、機械学習モデルにおける個人のバイアスを検出するブラックボックス監査フレームワークを提案する。正確な信頼区間と仮説検定を提供し、タイプIエラー率を制御しながら、Northpointe社のCOMPAS再犯予測ツールにおける性別および人種的バイアスを特定した。

ABSTRACT

We consider the task of auditing ML models for individual bias/unfairness. We formalize the task in an optimization problem and develop a suite of inferential tools for the optimal value. Our tools permit us to obtain asymptotic confidence intervals and hypothesis tests that cover the target/control the Type I error rate exactly. To demonstrate the utility of our tools, we use them to reveal the gender and racial biases in Northpointe's COMPAS recidivism prediction instrument.

研究の動機と目的

• MLモデルにおける個人のバイアスを検出・局在化するためのキャリブレーションされた統計的手法の不足に対処すること。
• 公平性違反を監査する際、タイプIエラー率を正確に制御する推論ツールの開発。
• モデルの内部構造を必要とせず、ブラックボックスアクセスでのみ利用可能な監査者による公平性の評価を可能にすること。
• 公平性制約付き最適化問題の最適解を通じて、バイアスの解釈可能な局在化を可能にすること。
• 本手法の実用性を示すために、COMPAS再犯予測システムにおける体系的な性別および人種的バイアスを明らかにすること。

提案手法

• 類似する入力ペア間のモデル出力差異を最小化する凸最適化問題として、個人の公平性監査を定式化し、類似度尺度で重み付けする。
• 固定されたロバストネス半径下での最適値の漸近的分布を導出するが、値関数の不規則性のため、正規分布ではない。
• 最適値の仮説検定と正確な信頼区間を構築し、公平性違反の評価に用いる。
• 観測された監査値を公平性閾値δと比較することでモデルを監査し、最適値のサンプリング分布に基づく推論を実施する。
• 最適値に関する片側信頼区間検定に合格するモデルを選択することで、モデル選択に本手法を統合する。
• 実世界のデータに適用し、データ駆動型類似度関数とℓ₁正則化付きロジスティック回帰を用いて、公平性と精度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 タイプIエラー率を正確に制御できる統計的に厳密な手法を開発し、MLモデルにおける個人の公平性違反を検出可能か？
• RQ2 計算効率と解釈可能性を維持しながら、ブラックボックスアクセスのみでMLモデルを監査できるか？
• RQ3 固定されたロバストネス半径下で、公平性制約付き凸最適化問題の最適値の漸近的分布は何か？
• RQ4 提案されたフレームワークは、COMPASのような実世界のMLシステムにおける性別および人種的バイアスをどれほど効果的に検出・局在化できるか？
• RQ5 本フレームワークは、モデル選択に統合可能で、個人の公平性と高い予測性能の両立を保証できるか？

主な発見

• 公平性監査問題における最適値の漸近的分布は、値関数の不規則性のため正規分布ではない。これは独立した理論的関心をもつ結果である。
• 提案手法は、Northpointe社のCOMPAS再犯予測システムにおいて顕著な性別および人種的バイアスを効果的に検出した。FaiTH値は強い公平性違反を示した。
• FaiTH制約下で選択されたℓ₁正則化付きロジスティック回帰モデルは、低水準のFaiTH値を達成し、個人の公平性仮説を棄却しなかったが、競争力のある精度を維持した。
• グループ公平性手法（例：再重み付け）はグループレベルの差を低減したが、保護属性（例：人種）の係数が大きく、FaiTH値も高いため、個人の公平性違反を悪化させた。
• 信頼区間を用いてタイプIエラーを正確に制御可能であり、95％の下位信頼区間を用いてモデル選択段階で公平なモデルをフィルタリングした。
• 選択されたモデルは性別を予測子として排除しており、保護属性に依存せずに公平性を達成できることを示したが、予測性能は維持された。