[論文レビュー] Optimal Training of Fair Predictive Models

Razieh Nabi, Daniel Malinsky+1 more|arXiv (Cornell University)|Oct 9, 2019

Ethics and Social Impacts of AI参考文献 26被引用数 4

ひとこと要約

本稿では、観測データ尤度の新しい再パラメータ化を提案し、公平性制約——特に経路固有の因果効果——を尤度関数内のパラメータとして直接組み込むことで、複雑な非線形制約を単純なボックス制約に変換する。これに加え、ベースライン共変量を制約するための経験尤度技術を組み合わせることで、予測精度を向上させつつ公平性を保証し、シミュレーションでは制約なしモデルに近い性能を達成する。

ABSTRACT

Recently there has been sustained interest in modifying prediction algorithms to satisfy fairness constraints. These constraints are typically complex nonlinear functionals of the observed data distribution. Focusing on the path-specific causal constraints proposed by Nabi and Shpitser (2018), we introduce new theoretical results and optimization techniques to make model training easier and more accurate. Specifically, we show how to reparameterize the observed data likelihood such that fairness constraints correspond directly to parameters that appear in the likelihood, transforming a complex constrained optimization objective into a simple optimization problem with box constraints. We also exploit methods from empirical likelihood theory in statistics to improve predictive performance by constraining baseline covariates, without requiring parametric models. We combine the merits of both proposals to optimize a hybrid reparameterized likelihood. The techniques presented here should be applicable more broadly to fair prediction proposals that impose constraints on predictive models.

研究の動機と目的

• 因果的経路固有効果から導かれる複雑で非線形な公平性制約の下で、公平な予測モデルを学習する課題に対処すること。
• 尤度関数の再パラメータ化により、公平性制約を明示的かつ容易に制約可能なパラメータとして表現することで、制約付き最適化を単純化すること。
• パラメトリックモデルを仮定せずにベースライン共変量を制約する経験尤度手法を組み込むことで、予測性能を向上させること。
• 再パラメータ化と経験尤度を組み合わせたハイブリッドアプローチを構築し、より効率的なデータ利用と高い予測精度を実現すること。
• 本手法が、研究で検討された因果フレームワークに限らず、他の公平性制約付き予測問題へも一般化可能であることを示すこと。

提案手法

• 不正な経路固有効果が尤度関数内の明示的パラメータとして現れるように、観測データ尤度を再パラメータ化し、公平性制約をこれらのパラメータに対する単純なボックス制約として適用可能にする。
• 経験尤度理論を用いて、ベースライン共変量の分布を制約する半パラメトリック尤度を構築し、データ効率と予測精度を向上させる。
• 再パラメータ化された尤度と共変量に対する経験尤度制約を組み合わせたハイブリッド尤度を定式化し、公平性と予測の両方を同時に最適化可能にする。
• 結果が中間変数と感受性属性に依存する因果モデルに本手法を適用し、直接的および間接的経路固有効果の制限によって公平性を確保する。
• 再パラメータ化された尤度およびハイブリッド尤度を用いた制約付き最尤推定（MLE）を実行し、尤度パラメータと経験尤度重みの両方を最適化する。
• g-Formulaと逆確率重み付け（IPW）をベンチマークとして用い、KLダイバージェンスおよび平均二乗誤差（MSE）の観点から、提案手法の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 経路固有の公平性制約を尤度関数に直接パラメータとして埋め込むことで、予測モデリングにおける制約付き最適化を単純化できるか？
• RQ2 公平性制約を明示的に表現するように尤度を再パラメータ化することで、標準的な制約付きMLEと比較して予測精度にどのような影響を与えるか？
• RQ3 パラメトリック仮定をせず、ベースライン共変量を制約する経験尤度手法が、公平性に配慮した予測にどの程度寄与するか？
• RQ4 再パラメータ化と経験尤度を組み合わせることで、単独で用いる場合よりも優れた予測性能が得られるか？
• RQ5 提案されたハイブリッドアプローチは、予測精度の損失を最小限に抑えつつ公平性を達成でき、制約なしモデルに近い性能を実現できるか？

主な発見

• 再パラメータ化されたMLE手法（M2）は、標準的な制約付きMLE（M1）と比較して、真の不公平な分布とのKLダイバージェンスを1.5%低減したが、MSEの向上はわずかであった。
• ハイブリッドMLE手法（M3）は、シミュレーション1において標準的な制約付きMLE（M1）と比較してMSEを66%低減し、3.497から1.166に低下した。
• ハイブリッド再パラメータ化MLE（M4）は、シミュレーション1においてMSEを1.569までさらに改善し、共変量制約に再パラメータ化と経験尤度を組み合わせることの利点を示した。
• 複数の媒介変数を含むシミュレーション3では、ハイブリッドMLEがMSEをベースラインの制約付きMLEの2.484から1.131に低下させ、公平性制約下での予測精度の大幅な向上を示した。
• 本手法は、経路固有効果（PSE）を[-0.05, 0.05]に制限した公平な分布（p*）を達成した一方で、制約なしモデルとほぼ同等のKLダイバージェンスを維持しており、データ分布への忠実性が高く保たれていることを示した。
• 提案されたハイブリッドアプローチは、すべてのベースライン手法を上回り、公平性の強化と予測精度の両面で優れた性能を示した。特にシミュレーション1では、最小のMSEとPSE推定値0.02（公平性を満たす）を達成した。