[論文レビュー] Equal Opportunity and Affirmative Action via Counterfactual Predictions

Zhaoran Wang, Dhanya Sridhar+1 more|arXiv (Cornell University)|May 26, 2019

Game Theory and Voting Systems参考文献 3被引用数 10

ひとこと要約

本稿では、反事後予測を用いて、機械学習予測モデルの公平性を保証するための因果推論ベースのアルゴリズムを提案する。この手法は、因果グラフにおける意思決定を介入としてモデル化し、予測の正確性を維持したまま、等しい機会（EO）および是正的措置（AA）の公平性基準を満たす最小限の補正を施す。実世界のデータセットにおいて、従来の手法に比べて公平性と正確性のトレードオフを優れて達成している。

ABSTRACT

Machine learning (ML) can automate decision-making by learning to predict decisions from historical data. However, these predictors may inherit discriminatory policies from past decisions and reproduce unfair decisions. In this paper, we propose two algorithms that adjust fitted ML predictors to make them fair. We focus on two legal notions of fairness: (a) providing equal opportunity (EO) to individuals regardless of sensitive attributes and (b) repairing historical disadvantages through affirmative action (AA). More technically, we produce fair EO and AA predictors by positing a causal model and considering counterfactual decisions. We prove that the resulting predictors are theoretically optimal in predictive performance while satisfying fairness. We evaluate the algorithms, and the trade-offs between accuracy and fairness, on datasets about admissions, income, credit and recidivism.

研究の動機と目的

• 過去の意思決定に起因する歴史的バイアスを内蔵する機械学習予測モデルにおける公平性を是正すること。
• 反事後的推論を用いて、法的公平性の2つの概念である等しい機会（EO）および是正的措置（AA）を形式化すること。
• 訓練済みの機械学習モデルをEOおよびAAの公平性に適合させるためのアルゴリズムを開発すること。
• 因果モデルに根ざした公平性の定式化により、データ分布の変化に対して頑健な公平性を保証すること。
• 入学、収入、クレジット、再犯予測のデータセットを用いて、正確性と公平性のトレードオフを実証的に評価すること。

提案手法

• 感受性属性（例：人種、性別）が非感受性属性（例：試験得点）および意思決定に影響を与える構造的因果モデルを提示する。
• EO公平性を、非感受性属性は同一だが感受性属性が異なる個人の反事後予測確率が等しいこととして定義する。
• AA公平性を、感受性属性に介入することで歴史的不利要因を補償する反事後予測として定義する。
• 反事後結果が感受性グループ間で等しくなる制約下で予測誤差を最小化することで、EO公平予測モデルを導出する。
• EO公平予測モデルを反事後介入により、歴史的に不利な立場にあったグループに有利に調整することで、AA公平予測モデルを導出する。
• デモグラフィックパリティを測定するために対称的KLダイバージェンスを用い、AA公平予測モデルがグループ間でほぼゼロのダイバージェンスを達成していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 反事後的推論を用いて、機械学習予測モデルにおける等しい機会の公平性を定義および実装できるか？
• RQ2 是正的措置の公平性を反事後介入を用いて形式化し、実装できるか？ これにより、歴史的不利要因を是正できるか？
• RQ3 提案されたEOおよびAA公平アルゴリズムは、FairLearning や FTU といった既存手法と比較して、正確性と公平性の両面で優れているか？
• RQ4 公平性基準を満たしつつ、予測性能をどの程度維持できるか？
• RQ5 統計的公平性定義と比較して、因果フレームワークはデータ分布の変化に対してより頑健であるか？

主な発見

• EO公平予測モデルはEO指標がゼロ（低い方が良い）を達成し、FTU や FairLearning よりもEO公平性が優れており、他の公平モデルよりも高い予測正確性を維持している。
• AA公平予測モデルはAA指標がゼロ、対称的KLダイバージェンスがほぼゼロを達成しており、デモグラフィックパリティが実現されている。FTU や FairLearning よりも公平性と正確性の両面で優れている。
• ドイツクレジットデータセットでは、AA公平予測モデルの予測スコアは64.3であり、FairLearning（63.5）や FTU（63.4）を上回り、AAおよびKL指標はほぼゼロを維持している。
• Adult収入データセットでは、AA公平予測モデルの対称的KLダイバージェンスは7.8であり、FTU（15.6）や古典的ML（18.6）よりも顕著に低く、より良いデモグラフィックパリティを示している。
• 反事後予測の結果から、AA公平予測モデルは白人および非白人個人の間でほぼ同一の意思決定分布を生成しており、デモグラフィックパリティを達成している。
• EO公平予測モデルは、ドイツクレジットデータセットで64.5の高い予測正確性を維持しながら、完全なEO公平性を達成しており、他の公平モデルよりも正確性が優れている。