[論文レビュー] Fair Regression with Wasserstein Barycenters

Evgenii Chzhen, Christophe Denis+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jun 12, 2020

Health Systems, Economic Evaluations, Quality of Life被引用数 17

ひとこと要約

本稿では、グループ固有の回帰分布の Wasserstein 中心化平均として最適予測子を導出し、デモグラフィックパラメータの平等を保証する公平な回帰手法を提案する。任意の市販の回帰器を公平なものに変換する後処理アルゴリズムを導入し、分布に依存しない公平性と有限標本リスクの保証を達成するが、誤差の増加は公平性の向上を上回る。

ABSTRACT

We study the problem of learning a real-valued function that satisfies the Demographic Parity constraint. It demands the distribution of the predicted output to be independent of the sensitive attribute. We consider the case that the sensitive attribute is available for prediction. We establish a connection between fair regression and optimal transport theory, based on which we derive a close form expression for the optimal fair predictor. Specifically, we show that the distribution of this optimum is the Wasserstein barycenter of the distributions induced by the standard regression function on the sensitive groups. This result offers an intuitive interpretation of the optimal fair prediction and suggests a simple post-processing algorithm to achieve fairness. We establish risk and distribution-free fairness guarantees for this procedure. Numerical experiments indicate that our method is very effective in learning fair models, with a relative increase in error rate that is inferior to the relative gain in fairness.

研究の動機と目的

• デモグラフィックパラメータの平等制約下で、公平な実数値予測子を学習する課題に対処すること。
• Wasserstein 中心化平均を通じて、公平な回帰と最適輸送理論との間の理論的関係を確立すること。
• ベースとなる回帰器やデータ分布に依存せずに公平性を保証する後処理手法を開発すること。
• 提案手法に対して、有限標本リスクの境界と分布に依存しない公平性の保証を提供すること。

提案手法

• 最適な公平な予測子は、各感受性グループにおける不平等な回帰関数が誘導する条件付き分布の Wasserstein 中心化平均として導出される。
• 元の回帰関数の閉形式変換を用いる：$ g^*(x,s) = p_s f^*(x,s) + (1-p_s) t^*(x,s) $、ここで $ t^* $ はグループ間の順位を整合させる。
• 補正項 $ t^* $ は、各グループのラベルなしデータからの経験的累積分布関数に基づいて計算され、ラベルなしデータにのみ依存する。
• ベース回帰関数を推定した後にこの変換を適用する後処理手順が提案され、再トレーニングなしに公平性を保証する。
• 1次元 Wasserstein 距離の偏差バウンドとランク統計の性質を活用して、有限標本リスクの保証を導出する。
• 理論的分析では、最適輸送、ランク統計、集中不等式の結果を統合し、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送理論を用いて、回帰タスクにおけるデモグラフィックパラメータの平等を形式的にどのように強制できるか？
• RQ2 デモグラフィックパラメータの平等制約下で、最適な公平な予測子の解析的形は何か？
• RQ3 ベース推定器や潜在的なデータ分布に依存せずに公平性を保証する後処理手法を設計できるか？
• RQ4 最小限の仮定の下で、公平な予測子に対してどのような有限標本リスク境界を導出できるか？
• RQ5 実際の応用において、公平な予測子の誤差は、公平性の向上に比べてどのように比較されるか？

主な発見

• 最適な公平な予測子は、グループ固有の回帰分布の Wasserstein 中心化平均に対応し、公平性に幾何的解釈を提供する。
• 提案された後処理手法は、分布に依存しない公平性を達成する。これは、データ分布やベース推定器にかかわらず公平性が保証されることを意味する。
• 有限標本リスクの境界が確立され、公平な予測子の期待誤差が $ O(b_n^{-1/2} + extstylerac{1}{N^{1/2}}) $ のレートで収束することが示された。ここで $ b_n $ はバンド幅、$ N $ は標本サイズである。
• 数値実験により、予測誤差の相対的増加が、公平性の相対的向上を常に下回ることが確認された。
• 本手法は頑健でスケーラブルであり、変換ステップにはラベルなしデータのみが必要であり、市販の任意の回帰モデルに適用可能である。