[論文レビュー] Counterfactual Fairness

Matt J. Kusner, Joshua R. Loftus+2 more|arXiv (Cornell University)|Mar 20, 2017

Ethics and Social Impacts of AI参考文献 31被引用数 868

ひとこと要約

反事実フェアネスを導入し、保護属性が反事実的な変化の下でも予測が不変になることを保証する因果フレームワークを提示し、そうした公平な予測子を学習するアルゴリズムを提案する。法科大学院の成功予測で実例を示す。

ABSTRACT

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school.

研究の動機と目的

• 歴史的バイアスを持つ高リスク領域における公正性を考慮した予測の必要性を動機づける。
• Pearlのフレームワークに基づく formal で因果的定義の反事実フェアネスを提案する。
• 潜在変数を活用して反事実フェアネスを満たす予測モデルを学習するアルゴリズムを開発する。
• 現実世界に近いケーススタディで法科大学院の成功を予測する事例を用いて手法を説明する。
• 実践における因果的公平性の含意、設計上の選択、制約を議論する。

提案手法

• 保護属性A、観測データX、結果Yを含む因果モデル（U,V,F）を採用する。
• 反事実フェアネスを定義する：hatY の分布が X および A を given として A を反事実的に変更 (A ← a′) しても不変である場合、hatY は公正である。
• 潜在変数Uを P_M(U | X, A) から MCMC によってサンプルし、g_theta(U, X_nsucc(A)) を訓練して予測誤差を最小化する学習アルゴリズム FairLearning を提案する。
• 予測時の推定を E[hatY(U*, X_nsucc(A*)) | X*, A*] として提供する。
• 既存の公平性概念との接続を示し、純粋な統計的基準よりも明示的な因果モデリングを採用するべきであると論じる。

実験結果

リサーチクエスチョン

• RQ1 保護属性が観測データに因果的に影響を与える因果設定で、公平性と整合する予測子をどう定義するか？
• RQ2 予測性能を保ちつつ、保護属性の反事実的変化に対して結果が不変になる予測子を構築できるか？
• RQ3 因果モデルと有限データを前提に、反事実を近似する実用的な学習戦略は何か？
• RQ4 反事実フェアネスは等機会性（Equal Opportunity）や予測的パリティ（Predictive Parity）など他の公平性基準とどのように関連し、統合・調和し得るか？

主な発見

モデル	RMSE
Full	0.873
Unaware	0.894
Fair K	0.929
Fair Add	0.918

• 反事実フェアネスは、因果経路に沿った保護属性の反事実的変化に対して不変である個人レベルの公平性概念を提供する。
• 潜在変数UとAの非子孫に基づいて公平な予測子を学習するためのアルゴリズム（FairLearning）を提案し、反事実的期待を近似するために MCMC を用いる。
• 法科大学院の成功の例示では、反事象的に公平なモデルは公平性のために予測精度を一定程度犠牲にする。Level 1–3 のアプローチは、より強い仮定と異なる RMSE の結果を提供する。
• 潜在の公正変数（Level 2）や加法誤差モデル（Level 3）を使用すると、Full および Unaware のベースラインと比較して異なる予測性能が得られ、フェアネスと精度のトレードオフを示す。
• 反事実フェアネスは、YとAが関連するとき従来の基準が対立する可能性のある公平性のパラドックスを解決するのに役立つ。