[論文レビュー] Promises and Challenges of Causality for Ethical Machine Learning

Aida Rahmattalabi, Alice Xiang|arXiv (Cornell University)|Jan 26, 2022

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本論文は、固定された属性ではなく、認識された社会的カテゴリーのタイミングと性質に焦点を当てることで、統計的公平性指標の限界を克服するための因果的公平性フレームワークを提案する。合成データおよび実世界の警察の停止データを用いた実証により、意思決定の各段階における因果分析が、異なる公平性の違反を明らかにし、提案手法が主要な公平性指標で差異ゼロを達成しながら高い精度を維持することを示している。

ABSTRACT

In recent years, there has been increasing interest in causal reasoning for designing fair decision-making systems due to its compatibility with legal frameworks, interpretability for human stakeholders, and robustness to spurious correlations inherent in observational data, among other factors. The recent attention to causal fairness, however, has been accompanied with great skepticism due to practical and epistemological challenges with applying current causal fairness approaches in the literature. Motivated by the long-standing empirical work on causality in econometrics, social sciences, and biomedical sciences, in this paper we lay out the conditions for appropriate application of causal fairness under the "potential outcomes framework." We highlight key aspects of causal inference that are often ignored in the causal fairness literature. In particular, we discuss the importance of specifying the nature and timing of interventions on social categories such as race or gender. Precisely, instead of postulating an intervention on immutable attributes, we propose a shift in focus to their perceptions and discuss the implications for fairness evaluation. We argue that such conceptualization of the intervention is key in evaluating the validity of causal assumptions and conducting sound causal analysis including avoiding post-treatment bias. Subsequently, we illustrate how causality can address the limitations of existing fairness metrics, including those that depend upon statistical correlations. Specifically, we introduce causal variants of common statistical notions of fairness, and we make a novel observation that under the causal framework there is no fundamental disagreement between different notions of fairness. Finally, we conduct extensive experiments where we demonstrate our approach for evaluating and mitigating unfairness, specially when post-treatment variables are present.

研究の動機と目的

• 統計的公平性指標が受動的な相関に依存し、基準間で矛盾を生じるという限界を是正すること。
• 因果的公平性に対する懸念を解消するため、妥当な仮定と介入のタイミングを明確にすること。
• 固定された社会的カテゴリーから、それらの認識に焦点を移すこと。
• 治療後バイアスを軽減し、現実の意思決定システムにおける因果的公平性評価の妥当性を向上させること。
• 介入のタイミングと概念化が適切に行われれば、因果的公平性基準が根本的に整合可能であることを示すこと。

提案手法

• 仮想的介入下での反事後的公平性を定義するために、潜在的アウトカムフレームワークを採用する。
• 生まれつきの属性（例：出生時の人種）への介入と、それらの認識（例：意思決定の文脈における認識された人種）への介入を区別する。
• 警察活動における検挙と逮捕といった異なる時間的段階での介入をモデル化し、複数の意思決定ポイントでの公平性を評価する。
• 2層の隠れ層を備えたニューラルネットワークを用い、反事後的状態下での治療後変数（例：検挙結果、逮捕）を補完する。
• 各段階での公平性違反を評価するために、因果的パリティ指標を適用し、観察された結果と反事後的結果を比較する。
• 介入条件に基づいて反事後的結果をフィルタリングする（例：検挙が行われない場合、結果を「何も発見されなかった」に設定する）。

実験結果

リサーチクエスチョン

• RQ1 感受性属性が固定されており操作できない場合、因果的公平性はどのように意味的に適用可能になるか？
• RQ2 多段階意思決定システムにおける介入タイミングが因果的公平性評価に与える影響は何か？
• RQ3 因果的公平性モデリングにおいて、社会的カテゴリーそのものとその認識とはどのように異なるか？
• RQ4 因果的公平性指標は、統計的公平性基準間の本質的矛盾を解消できるか？
• RQ5 治療後バイアスは、誤った公平性評価を引き起こす役割を果たすか？ そして、どのように回避できるか？

主な発見

• 検挙段階での介入により、BlackとWhiteの間で検挙率に5.5%の差異が明らかになり、逮捕率では8.2%に上昇した。
• 逮捕段階での介入を遅らせる形にした場合、逮捕率の差異は3.9%に低下し、因果分析におけるタイミングの重要性が浮き彫りになった。
• 提案された因果モデルは、ReW（-0.0258）、PRem（-0.024）、ROC（-0.028）において、ベースラインモデルと比較して差異ゼロを達成した。
• 実世界のデータセットにおいて、提案手法はすべての基準で統計的公平性指標を上回り、高い精度（0.768～0.933）を維持した。
• 検挙のような早期意思決定段階での差別的影響を考慮することで、因果的パリティ違反が著しく減少した。
• 本研究では、介入のタイミングと性質が適切に規定されれば、異なる公平性基準が根本的に不整合ではないことが示された。