[論文レビュー] Debiasing representations by removing unwanted variation due to protected attributes

Amanda Bower, Laura Niss+2 more|arXiv (Cornell University)|Jul 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 10被引用数 6

ひとこと要約

本稿では、人種などの保護属性に起因する望ましくない変動を除去することで、機械学習表現のバイアスを解消する回帰ベースの前処理手法を提案する。遺伝学分野のRUVフレームワークにインspiredされた行列分散要因モデルを用い、1次条件付きパリティを達成し、予測精度の損失を最小限に抑えつつ、再犯リスクスコアにおける人種的格差を顕著に低減する。

ABSTRACT

We propose a regression-based approach to removing implicit biases in representations. On tasks where the protected attribute is observed, the method is statistically more efficient than known approaches. Further, we show that this approach leads to debiased representations that satisfy a first order approximation of conditional parity. Finally, we demonstrate the efficacy of the proposed approach by reducing racial bias in recidivism risk scores.

研究の動機と目的

• 機械学習表現におけるアルゴリズムバイアス、特に刑事司法リスク評価におけるバイアスを是正すること。
• 再犯予測における人種グループ間の偽陽性率および偽陰性率の格差を低減すること。
• 保護属性（例：人種）に起因する望ましくない変動を除去する前処理手法を開発し、下流モデルの再トレーニングを必要としないこと。
• バイアス除去表現が1次近似の条件付きパリティを満たすようにすること、これは公平性基準である。
• 具体的には、ProPublica COMPASデータセットという実世界のデータを用いて、本手法の有効性を実証すること。

提案手法

• Y = XA^T + ZB^T + E と表される行列分散要因モデルを用いて表現をモデル化し、X を保護属性（例：人種）、Z を許容可能な属性、E を誤差項とする。
• X と Z の間に線形関係 Z = XΓ^T + W が成り立つと仮定し、X と Z の間の交絡を許容する。
• 制御変数（Z）が観測不能であるが、潜在的要因によってモデル化可能であると仮定し、係数行列 A を Y と X の回帰により推定する。
• RUVの修正版を用い、Y における保護属性 X の影響を Z に条件づけて回帰で除去することで、表現をバイアス除去する。
• Y_db = Y - XÂ と変換することで、保護属性 X と条件付き独立となる表現を生成する。ここで Â は X が Y を予測する際の推定係数である。
• 再犯予測を予測するためのロジスティック回帰を、バイアス除去済み特徴量に対して適用し、バイアス除去前後での公平性指標を比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 回帰ベースの前処理手法は、予測性能を損なわず、再犯リスクスコアにおける人種的バイアスを効果的に低減できるか？
• RQ2 保護属性に起因する変動を除去することで、公平性指標における条件付きパリティを満たす表現が得られるか？
• RQ3 統計的効率性および公平性の向上という観点から、既存のバイアス除去手法と比較して、本手法はどのように差をつけるか？
• RQ4 本手法は、アフリカ系アメリカ人と白人被験者間の偽陽性率および偽陰性率の格差をどの程度低減するか？
• RQ5 許容可能な属性（Z）が観測不能である場合、観測された保護属性（X）および表現（Y）のみに依存して、本手法は効果的に適用可能か？

主な発見

• 80番目の分位数閾値を用いた場合、バイアス除去後のロジスティック回帰モデルでは、アフリカ系アメリカンと白人との間の偽陰性率（FNR）格差がほぼ20％から4％に低下した。
• バイアス除去後、アフリカ系アメリカンの偽陽性率（FPR）格差は11％から9％に低下したが、白人側ではわずかなFPRの上昇が見られた。
• バイアス除去データでは正解率が65％を維持し、元のデータ（67％）と比較して50番目の分位数でわずかに65％に低下したため、性能コストは最小限に抑えられた。
• アフリカ系アメリカンの再犯確率の分布は、元の表現では右に歪んでいたが、バイアス除去後はよりバランスの取れた分布にシフトした。
• 本手法により、保護属性を許容可能な属性で条件づけた場合に、バイアス除去表現が条件付き独立となることが確認され、1次近似の条件付きパリティが達成された。
• 本手法は、特に刑事司法リスク評価のようなハイリスク意思決定文脈において、バイアス低減の面で統計的効率性と頑健性を示した。