[論文レビュー] Understanding and Mitigating Accuracy Disparity in Regression

Jianfeng Chi, Yuan Tian+2 more|arXiv (Cornell University)|Feb 24, 2021

Machine Learning and Data Classification参考文献 40被引用数 5

ひとこと要約

本論文は、性的・文化的背景にかかわらず回帰モデルの精度差を軽減する理論的枠組みとアルゴリズム的手法を提案する。誤差分解定理を導入し、差異が周辺ラベル分布と条件付き表現の差に起因することを明らかにした。全変動距離とウォッサーシュタイン距離を用いた2つの分布整合化アルゴリズムを設計し、5つのベンチマークデータセットで予測性能を維持したまま精度差を顕著に低減することを実証した。

ABSTRACT

With the widespread deployment of large-scale prediction systems in high-stakes domains, e.g., face recognition, criminal justice, etc., disparity in prediction accuracy between different demographic subgroups has called for fundamental understanding on the source of such disparity and algorithmic intervention to mitigate it. In this paper, we study the accuracy disparity problem in regression. To begin with, we first propose an error decomposition theorem, which decomposes the accuracy disparity into the distance between marginal label distributions and the distance between conditional representations, to help explain why such accuracy disparity appears in practice. Motivated by this error decomposition and the general idea of distribution alignment with statistical distances, we then propose an algorithm to reduce this disparity, and analyze its game-theoretic optima of the proposed objective functions. To corroborate our theoretical findings, we also conduct experiments on five benchmark datasets. The experimental results suggest that our proposed algorithms can effectively mitigate accuracy disparity while maintaining the predictive power of the regression models.

研究の動機と目的

• 回帰モデルにおける性的・文化的背景にかかわる精度差の根本的要因を理解すること。
• 周辺ラベル分布や条件付き表現がグループ間で異なる場合に、回帰において精度差が生じる条件を形式化すること。
• 予測性能を維持したまま精度差を軽減するアルゴリズム的介入を考案すること。
• 公平性を考慮した回帰のための最適化目的関数のゲーム理論的分析を提供すること。
• 提案手法の有効性を実世界のベンチマークデータセットを用いて実証的に検証すること。

提案手法

• 精度差を2つの要因に分離する誤差分解定理を提案：周辺ラベル分布間の距離と条件付き表現間の距離。
• 2つの公平性指向の回帰アルゴリズムを導入：CENet（全変動距離を用い）、WassersteinNet（ウォッサーシュタイン距離を用い）て、結合分布の整合化を実現。
• 最小最大最適化フレームワークを採用し、グローバルな回帰損失と公平性の目的関数をバランスさせ、公平性の予算を制御するハイパーパrameterを導入。
• 提案された目的関数のゲーム理論的最適解を分析し、公平性制約下でのモデルの均衡挙動を理解する。
• 公平性のトレードオフを制御するためのパラメータεを用い、公平性と性能のトレードオフを体系的にアブレーション可能にする。
• Adult、COMPAS、Crime、Law、Insuranceの5つのベンチマークデータセットに手法を適用し、R²スコアとエラーガップ指標を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 回帰モデルにおける性的・文化的背景にかかわる精度差の根本的要因は何か？
• RQ2 精度差は、データ分布に関連する測定可能な要因にどのように形式的に分解できるか？
• RQ3 統計的距離（TVとウォッサーシュタイン）を用いた結合分布整合化は、回帰における精度差を効果的に低減できるか？
• RQ4 提案された枠組みにおいて、公平性と予測性能のトレードオフはどのように変化するか？
• RQ5 提案されたアルゴリズムは、多様なデータセットにおいてベースライン手法と比較して、公平性とモデル精度の両面で優れているか？

主な発見

• 誤差分解定理により、モデルがグローバル損失を最小化しても、性的・文化的背景ごとの周辺ラベル分布や条件付き表現に差があると、精度差が生じることが明らかになった。
• CENetとWassersteinNetは、5つのベンチマークデータセットすべてで精度差を効果的に低減し、R²スコアは維持またはわずかに向上させた。
• Adultデータセットでは、ε=0.1の条件下で、誤差ギャップ（ΔErr）が0.0612にまで低下し、ベースライン手法より優れたR²スコアを達成した。
• COMPASデータセットでは、CoD手法を用いることで誤差ギャップは0.0085にまで低下し、R²は0.1146を記録し、強力な公平性・性能のトレードオフを示した。
• 訓練のダイナミクスは、不安定な最小最大最適化であっても、標準的なMSE最小化ベースライン（No Debias）よりも、誤差ギャップが小さい解に収束することを示した。
• 公平性の予算εが小さくなるにつれて、R²スコアと誤差ギャップの両方が低下し、より厳しい公平性制約が差を小さくするが、限界効果が顕著に現れた。