[論文レビュー] Demographic Parity: Mitigating Biases in Real-World Data

Orestis Loukas, Ho‐Ryun Chung|arXiv (Cornell University)|Sep 27, 2023

Insurance, Mortality, Demography, Risk ManagementSocial Sciences被引用数 3

ひとこと要約

本論文は、モデルに依存しない数学的に厳密な手法であるPUR（デモグラフィックパリティ、ユーティリティ、リアリズム）を提案し、実世界のデータセットからバイアスを除去する。この手法は、デモグラフィックパリティを強制しながら分類のユーティリティと社会的リアリズムを維持する漸近的公平な分布を導出する。反復比例適合（IPF）を用いて訓練データを公平な分布上に射影し、合成データを生成する。この合成データで分類器を学習させることで、直接的および間接的バイアスが完全に除去され、UCI Adultデータセットを用いた評価で予測のデモグラフィックパリティがほぼ完璧に達成された。

ABSTRACT

Computer-based decision systems are widely used to automate decisions in many aspects of everyday life, which include sensitive areas like hiring, loaning and even criminal sentencing. A decision pipeline heavily relies on large volumes of historical real-world data for training its models. However, historical training data often contains gender, racial or other biases which are propagated to the trained models influencing computer-based decisions. In this work, we propose a robust methodology that guarantees the removal of unwanted biases while maximally preserving classification utility. Our approach can always achieve this in a model-independent way by deriving from real-world data the asymptotic dataset that uniquely encodes demographic parity and realism. As a proof-of-principle, we deduce from public census records such an asymptotic dataset from which synthetic samples can be generated to train well-established classifiers. Benchmarking the generalization capability of these classifiers trained on our synthetic data, we confirm the absence of any explicit or implicit bias in the computer-aided decision.

研究の動機と目的

• 高利害分野（採用や犯罪裁判など）におけるAI意思決定システムに伝搬される直接的および間接的バイアスを是正すること。
• モデル学習とは独立してバイアス除去を実現する公平な機械学習フレームワークを構築すること。
• 実際の国勢調査データから得られる合成データセットにおいて、デモグラフィックパリティを強制しながら分類のユーティリティと社会的リアリズムを維持すること。
• 公平な分布から得た合成データで学習した分類器が、テストデータに対して予測でほぼゼロのバイアスを示すことを実証すること。

提案手法

• 3つの核心的制約を強制する：デモグラフィックパリティ（保護群間で結果の分布が等しくなること）、分類のユーティリティ（元のクラス関係が保持されること）、社会的リアリズム（予測子関係が忠実に再現されること）。
• 反復比例適合（IPF）を用いて、元の訓練分布をすべてのPUR制約を満たす公平な確率分布上に射影する。
• 元のデータ分布からのカルバック・ライブラー距離を最小化する形で公平な分布を導出し、歪みを最小限に抑える。
• 再サンプリングを用いて公平な分布から合成データセットを生成し、元のデータのサイズと構造を維持する。
• 本手法をUCI Adultデータセットに適用し、公平な分布から得た合成データでランダムフォレスト分類器を学習した。
• テストデータ上で保護属性ごとの差異比指標を用いて、得られた分類器の公平性を評価した。

Figure 2: Attributable disparity over salary classes estimated by the prediction on simulated test data of information projection of train distributions under various conditions. Blue line denotes the estimate $p_{\textrm{pred}}(y|\mathbf{s}_{0})$ used as reference in 7 . The original data refers ba

実験結果

リサーチクエスチョン

• RQ1 モデルに依存しない手法が、分類のユーティリティやリアリズムを損なわずに実世界のデータでデモグラフィックパリティを達成できるか。
• RQ2 保護されていない予測子を通じて媒介される間接的バイアスは、単にデータ分布を変更するだけでどの程度除去可能か。
• RQ3 公平な分布から得た合成データで学習した分類器は、バイアスを含む実世界のテストデータに対して、予測で公平性を維持できるか。
• RQ4 ベースラインのバイアス除去手法と比較して、PURフレームワークは異なる感受性プロファイルにおいてどの程度デモグラフィックパリティを維持できるか。

主な発見

• PUR射影から生成された合成データにおいて、保護群（例：男性/白人対その他の組み合わせ）間で年収50Kドル以上の差異比は平均して約100%にまで低下し、ほぼ完璧なデモグラフィックパリティが達成された。
• PUR射影から得た合成データで学習した分類器は、テストデータ上で予測のバイアスがほぼゼロを維持し、差異比は100%の周辺を振動し、80%のしきい値を下回ることはなかった。
• p射影（デモグラフィックパリティのみ）では間接的バイアスが除去されず、このようなデータで学習した分類器は、未解決の交絡関係により予測に差別的相関を再導入した。
• pu射影（ユーティリティとパリティ）はp単体よりも公平性が向上したが、唯一、社会的リアリズムを組み込んだ完全なPUR射影のみが、バイアスを含むテストデータ上で一貫して公平性を維持した。
• 本手法は、元のデータのサイズと構造を保持しながら、公平性を確保した合成データセットを効果的に生成したことが、直接的な差異計算と分類器評価の両方で確認された。
• 有限標本のゆらぎに対しても本手法は頑健であり、パリティからの逸脱はすべてサンプリングノイズに起因し、系統的なバイアスとは無関係であった。

Figure 3: Natural predictor $p_{\textrm{pred}}(y|\mathbf{s})$ of the pur -projection of train distribution evaluated on simulated test data for all profiles in $\mathbf{S}$ . Blue line denotes $f(y)$ as computed from the empirical distribution of the original data.