[論文レビュー] On Learning Fairness and Accuracy on Multiple Subgroups

Changjian Shui, Gezheng Xu+6 more|arXiv (Cornell University)|Oct 19, 2022

Ethics and Social Impacts of AI被引用数 16

ひとこと要約

本稿では、限られたデータにおける複数のサブグループに対して公平かつ正確な予測子を学習するためのバイレベル最適化フレームワークを提案する。グループ充足度ギャップと一般化誤差を同時に最小化することで実現する。事前予測分布を用いてサブグループ固有の学習をガイドすることで、実世界のNLPデータセットにおいて最先端の公平性を達成しつつ、精度の低下を最小限に抑える。

ABSTRACT

We propose an analysis in fair learning that preserves the utility of the data while reducing prediction disparities under the criteria of group sufficiency. We focus on the scenario where the data contains multiple or even many subgroups, each with limited number of samples. As a result, we present a principled method for learning a fair predictor for all subgroups via formulating it as a bilevel objective. Specifically, the subgroup specific predictors are learned in the lower-level through a small amount of data and the fair predictor. In the upper-level, the fair predictor is updated to be close to all subgroup specific predictors. We further prove that such a bilevel objective can effectively control the group sufficiency and generalization error. We evaluate the proposed framework on real-world datasets. Empirical evidence suggests the consistently improved fair predictions, as well as the comparable accuracy to the baselines.

研究の動機と目的

• 複数のサブグループが存在し、それぞれのサンプル数が限られているデータにおいて、公平かつ正確な予測子を学習する課題に対処すること。
• 予測の有用性および一般化性能を維持しつつ、グループ充足度の公平性を確保すること。
• 低データのサブグループ状況において、公平性と正確性のバランスをとる原理的で整合性のある手法を開発すること。
• 提案手法の一般化と公平性の保証について理論的裏付けを与えること。

提案手法

• 公平な学習問題をバイレベル最適化として定式化：上位レベルではグローバルな公平な予測分布 Q を更新し、下位レベルでは Q を事前分布として用いてサブグループ固有の予測子を学習する。
• 確率的分類器（Q）を予測分布の表現に用い、不確実性を考慮した公平性学習を可能にする。
• グローバル予測子とサブグループのベイズ予測子との乖離に基づく上界を用いて、グループ充足度ギャップを制御する。
• サブグループ固有の学習と事前分布正則化のトレードオフを調整するハイパーパrameter λ を用い、一般化誤差を低く保つ。
• ニューラルネットワークモデルにこのフレームワークを適用し、公平で正確な予測を実現するエンドツーエンド微分可能な学習を可能にする。
• Q が低データサブグループの情報的事前分布として機能する、事前分布に基づく学習スキームを導入し、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 限られたデータにおける複数のサブグループにわたる統一された公平な予測子を、高い正確性を維持しながら学習できるか？
• RQ2 低データサブグループ状況において、グループ充足度を効果的に制御する方法は何か？
• RQ3 サブグループ学習における一般化誤差と公平性の理論的関係は何か？
• RQ4 バイレベル最適化フレームワークは、公平性ギャップと一般化誤差を同時に最小化できるか？
• RQ5 公平性と正確性の最適なトレードオフは何か？また、λ などのハイパーパrameter に依存するか？

主な発見

• 提案手法は、特にリソースが限られた状況においても、サブグループ間でグループ充足度ギャップを一貫して低減し、ベースラインと比較して顕著な精度の低下を伴わない。
• アマゾンレビューおよびToxicコメントデータセットにおいて、全人種グループにおいてほぼ同一で小さなグループ充足度ギャップを達成し、差が顕著に現れるベースラインを上回った。
• すべてのサブグループにおいて確率のキャリブレーションが著しく改善され、予測スコアと実際の結果との整合性が高まった。
• 公平性と正確性のバランスをとる最適な λ 値は [0.2, 1] の範囲にあり、両方の指標が良好に達成された。
• λ が大きすぎる場合（例：λ=50）には精度が 55% まで低下し、事前分布への過剰な依存が性能の劣化と公平性ギャップの増大を引き起こすことが確認された。
• 実験結果から、性別や宗教といった他の感受性属性に対しても、本手法は一貫した公平性の向上を示し、優れた性能を維持することがわかった。