[論文レビュー] Causal Fairness Analysis

Drago Plečko, Elias Bareinboim|arXiv (Cornell University)|Jul 23, 2022

Ethics and Social Impacts of AI被引用数 13

ひとこと要約

本稿は、観測された差別の要因を未観測の因果的メカニズムに結びつける因果的公平性フレームワークを導入し、因果的公平性分析の根本的問題（FPCFA）に対処する。Fairness Map（公平性基準の体系的分類）と、最小限の因果的仮定に基づくFairness Cookbook（公平性のための実用的ガイド）を提案し、クロスフィッティングと機械学習を用いて反事後的公平性の堅牢な二重ロバスト推定を可能にする。

ABSTRACT

Decision-making systems based on AI and machine learning have been used throughout a wide range of real-world scenarios, including healthcare, law enforcement, education, and finance. It is no longer far-fetched to envision a future where autonomous systems will be driving entire business decisions and, more broadly, supporting large-scale decision-making infrastructure to solve society's most challenging problems. Issues of unfairness and discrimination are pervasive when decisions are being made by humans, and remain (or are potentially amplified) when decisions are made using machines with little transparency, accountability, and fairness. In this paper, we introduce a framework for extit{causal fairness analysis} with the intent of filling in this gap, i.e., understanding, modeling, and possibly solving issues of fairness in decision-making settings. The main insight of our approach will be to link the quantification of the disparities present on the observed data with the underlying, and often unobserved, collection of causal mechanisms that generate the disparity in the first place, challenge we call the Fundamental Problem of Causal Fairness Analysis (FPCFA). In order to solve the FPCFA, we study the problem of decomposing variations and empirical measures of fairness that attribute such variations to structural mechanisms and different units of the population. Our effort culminates in the Fairness Map, which is the first systematic attempt to organize and explain the relationship between different criteria found in the literature. Finally, we study which causal assumptions are minimally needed for performing causal fairness analysis and propose a Fairness Cookbook, which allows data scientists to assess the existence of disparate impact and disparate treatment.

研究の動機と目的

• 観測された差別の要因がそれらを生成する未観測の因果的メカニズムにどのように関連するかを解明する、因果的公平性分析の根本的問題（FPCFA）に対処すること。
• 文献に散在する多様な公平性基準の関係を体系的に整理・説明するフレームワークを構築すること。
• 現実の意思決定システムにおける正当な公平性評価に必要な最小限の因果的仮定を同定すること。
• データサイエンティストが実用的で解釈可能なツール「Fairness Cookbook」を用いて、差別の的影響と差別の的処遇を検出できるようにすること。
• 二重機械学習とクロスフィッティング技術を用いて、モデルに依存しない反事後的公平性の堅牢な推定を提供すること。

提案手法

• 差別的処遇と差別的影響の法的原則に基づく因果フレームワークを提唱し、構造的因果モデルと反事後的推論を用いて形式化する。
• 既存の公平性基準の関係を統一的かつ明確にするために、Fairness Map（公平性マップ）を導入する。
• 公平性を評価するために必要な最小限の因果的仮定を明確にしたFairness Cookbook（公平性クッキー・ブック）を開発し、差別的影響と差別的処遇の検出を可能にする。
• 反事後的期待値の二重ロバスト推定を採用し、結果の回帰モデルまたは感受性スコアモデルのいずれかが正しく指定されていれば一貫性を保証する。
• 現代の非ドンスカークラスに属さない機械学習モデルでも有効な推論が得られるように、二重機械学習におけるクロスフィッティングを適用する。
• 高次元のメディエータの密度推定を直接行わないように改良されたψベースの推定器を用い、連続的または高次元のメディエータ設定における安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データにおける観測された差別的要因は、意思決定システム内の未観測の構造的メカニズムにどのように因果的に帰属されるか。
• RQ2 AIシステムにおける不公平を検出し、測定するために必要な最小限の因果的仮定は何か。
• RQ3 反事後的推論を用いて、差別的影響と差別的処遇を形式的に定義・測定する方法は何か。
• RQ4 現代の機械学習モデルを公平性分析に用いる際、堅牢性と妥当性を保証する推定戦略は何か。
• RQ5 公平性基準を体系的に関連づけ、可視化することで、公平性評価の解釈可能性と一貫性を向上させることは可能か。

主な発見

• Fairness Mapは、公平性基準を体系的に整理する初の試みであり、それらの関係性と依存関係を明確にした。
• Fairness Cookbookにより、データサイエンティストは最小限で解釈可能な因果的仮定に基づき、差別的影響と差別的処遇の存在を評価できるようになった。
• 反事後的公平性の二重ロバスト推定器は、結果の回帰モデルまたは感受性スコアモデルのいずれかが誤って指定されていても一貫性を保つ。
• 二重機械学習におけるクロスフィッティングにより、ドンスカークラスの条件を緩和することで、現代の機械学習モデルに対しても有効な推論が可能になった。
• 改良されたψベースの推定器は、高次元のメディエータの直接的な密度推定を回避し、複雑な設定でも安定性と性能が向上した。
• faircause Rパッケージは、実用的な公平性評価のためのクロスフィッティングおよび二重ロバスト推定手順を実装している。