[論文レビュー] Parametric Fairness with Statistical Guarantees

François Hu, Philipp Ratz+1 more|arXiv (Cornell University)|Oct 31, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿では、分野固有の分布的知識を組み込みながら、人口統計的同等性を強制するためのパラメトリックな公平なソリューションを、ウォッサーシュタイン重心を用いて導入する。これにより、統計的保証、安定性、測定誤差や潜在的敏感変数に対するロバストネスが得られる。この手法は、予測精度の損失を最小限に抑えつつ、公平性を向上させ、特にデータ汚染や隠れたバイアスがある状況でも優れた性能を発揮する。

ABSTRACT

Algorithmic fairness has gained prominence due to societal and regulatory concerns about biases in Machine Learning models. Common group fairness metrics like Equalized Odds for classification or Demographic Parity for both classification and regression are widely used and a host of computationally advantageous post-processing methods have been developed around them. However, these metrics often limit users from incorporating domain knowledge. Despite meeting traditional fairness criteria, they can obscure issues related to intersectional fairness and even replicate unwanted intra-group biases in the resulting fair solution. To avoid this narrow perspective, we extend the concept of Demographic Parity to incorporate distributional properties in the predictions, allowing expert knowledge to be used in the fair solution. We illustrate the use of this new metric through a practical example of wages, and develop a parametric method that efficiently addresses practical challenges like limited training data and constraints on total spending, offering a robust solution for real-life applications.

研究の動機と目的

• ドメイン知識を無視し、交差的バイアスや潜在的バイアスに対処できないアグノスティックな事後処理公平性手法の限界を是正すること。
• 特に固定予算付きの賃金設定のような実世界の応用において、不平等なモデルから公平なモデルへの安定的で滑らかな移行を保証すること。
• 専門家知識を公平な予測分布に埋め込むパラメトリックフレームワークを構築し、標準的な人口統計的同等性を越えた公平性を向上させること。
• パラメトリック公平ソリューションにおける公平性、リスク、予算制約に関する理論的保証を提供すること。
• 標準的な非パラメトリック手法が失敗するような、データ誤りや潜在的敏感変数の下でのロバストネスを評価すること。

提案手法

• ウォッサーシュタイン重心を用いて、ベースモデルからの距離を最小化しつつ公平性制約を満たす公平な予測を計算する。
• ドメイン知識を組み込むために、公平出力分布にパラメトリックな形状制約（例：正規分布、ギブス分布、ベータ分布）を課す。
• 計算効率とシームレスな統合を実現するため、Chzhenら（2020c）の閉形式最適輸送計画を適用する。
• トレーニングデータからの推定パラメータを用いたプラグイン推定器を用いて、公平な予測を生成する。
• ウォッサーシュタイン距離に基づくリスク-公平性トレードオフ測度を導入し、複数期間にわたる公平性の段階的移行を可能にする。
• 測定誤差を補正するためのパラメトリック形式を用い、入力特徴量依存やトランスファー学習に依存しない。

Figure 1: Base predictors are shown in blue and orange, while the optimal fair predictor is in green. In this example, integrating fairness considerations with domain knowledge effectively mitigates intersectional fairness issues. Here, $g^{*}$ corresponds to the Bayes rule, while $g^{*(\text{fair})

実験結果

リサーチクエスチョン

• RQ1 潜在的敏感変数が存在する状況でも、パラメトリック制約が予測精度を保持しつつ公平性を向上させることができるか？
• RQ2 パラメトリック形状制約によるドメイン知識の統合が、事後処理公平性手法における公平性と安定性にどのように影響するか？
• RQ3 トレーニングデータに測定誤差が存在する場合、パラメトリック公平モデルはどれほどバイアスを低減できるか？
• RQ4 パラメトリック公平手法は、全体の割り当てに対する混乱を最小限に抑えながら、不平等な状態から公平な状態への滑らかな移行を保証できるか？
• RQ5 異なるパラメトリック族（例：正規分布、ベータ分布、ギブス分布）は、実世界のデータセットにおける公平性-精度トレードオフにどのように影響を与えるか？

主な発見

• 潜在的敏感変数がトレーニング時に観測されない状況でも、非パラメトリックベースラインと比較して、パラメトリック公平手法は不平等性を最大25%まで低減した。
• ACSIncomeデータセットにおいて、トレーニングデータに75%の測定誤差が存在する状況でも、パラメトリック手法は補正なしベースラインと比較して平均二乗誤差（MSE）を16.5%低減した。
• folktables ACSPublicCoverageタスクにおいて、ε=0.75の条件下でパラメトリック推定器はF1スコア0.536を達成し、非パラメトリック手法（0.535）を上回った。同時に公平性を維持した。
• この手法は全体の予測安定性を保持しており、公平性の移行に際しても平均スコアが一貫したままであり、賃金調整のような予算制約付きの応用において重要である。
• 理論的保証として、パラメトリック推定器が最適値に収束し、最適ケースと比較して総予算要件が有界であることが示された。
• 潜在的または汚染されたデータ下でも、パラメトリックアプローチは予測精度を維持、あるいはわずかに低下（例：一部のケースでMSEの増加が約0.01）させつつ、公平性を著しく向上させた。

Figure 2: Approximate fairness between two gaussian distributions and their barycenter