[論文レビュー] Robust Optimization for Fairness with Noisy Protected Groups

Serena Wang, Wenshuo Guo+4 more|arXiv (Cornell University)|Feb 21, 2020

Ethics and Social Impacts of AI参考文献 52被引用数 41

ひとこと要約

保護グループのラベルがノイズを含む場合にグループベースの公平性をいかに保証するかを分析し、真のグループでの公平性を保証しつつ学習損失を最小化する2つのロバスト最適化手法（DROとソフトグループ割当）を提案します。経験的ケーススタディでは、ノイズが増加するほどNaiveな手法よりもこれらの方法が優れていることが示され、ただしNaive法よりも誤差率が高くなるという代償があります。

ABSTRACT

Many existing fairness criteria for machine learning involve equalizing some metric across protected groups such as race or gender. However, practitioners trying to audit or enforce such group-based criteria can easily face the problem of noisy or biased protected group information. First, we study the consequences of naively relying on noisy protected group labels: we provide an upper bound on the fairness violations on the true groups G when the fairness criteria are satisfied on noisy groups $\hat{G}$. Second, we introduce two new approaches using robust optimization that, unlike the naive approach of only relying on $\hat{G}$, are guaranteed to satisfy fairness criteria on the true protected groups G while minimizing a training objective. We provide theoretical guarantees that one such approach converges to an optimal feasible solution. Using two case studies, we show empirically that the robust approaches achieve better true group fairness guarantees than the naive approach.

研究の動機と目的

• ノイズを含む保護グループを前提とした二値分類における公平性の問題を動機づけ、形式化する。
• ノイズ付きのグループのみを用いる単純なアプローチの限界を示す理論的境界を提供する。
• 真のグループでの公平性を保証しつつ損失を最適化する2つのロバスト最適化フレームワーク（DROとソフトグループ割り当）を開発する。
• 少なくとも1つの手法について収束保証と実装のための実用的アルゴリズムを提供する。
• 様々なノイズレベルでUCIデータセット上で単純法とロバスト法を経験的に比較する。

提案手法

• 訓練時に真のグループGとノイズのあるグループĜを用いて公平性制約付き訓練を定式化する。
• 条件分布間の全体変動距離が有界であるなら、Ĝでの公平性を課すことはGでの不正規の制約違反を有界にすることを示す（定理1）。
• Ĝ分布の周りのTVボールにおける最悪ケースの公平性違反を抑えるため、分布に対するロバスト最適化（DRO）を導入し、すべての真のグループについて g_j(θ) ≤ 0 を保証する。
• 補助データから推定されたノイズモデル P(G=j|Ĝ=k) を用いたソフトグループ割り当（ソフトラベルによるロバスト公平性）を提案し、制約を max_w∈W(θ) g_j(θ,w) ≤ 0 として表現しラグランジュ法で解く。
• 収束保証を伴う理想的なアルゴリズムと、ソフト割り当てアプローチの実用的な勾配法ベースのアルゴリズムの両方を提供する。
• 損失関数、線形計画法の部分問題、収束性など実務的な考慮事項を議論する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む保護グループ Ĝ で学習した公平性制約は、真のグループ G の公平性制約とどう関連するか。
• RQ2 保護グループのラベルがノイズを含む場合、真のグループ G に対する公平性を保証できるか。
• RQ3 GとĜのノイズモデルの知識をどのように活用して、単純なアプローチより厳密に真のグループの公平性を強制できるか。
• RQ4 変動するノイズレベルでロバストな公平性手法を用いる場合の精度（誤り率）のトレードオフは何か。
• RQ5 DROとソフトグループ割り当てアプローチは、現実的な設定下で可行で最適な解へ収束するか。

主な発見

• ノイズ群 Ĝ に対して公平性を課すと、p_j と p̂_j の総変動距離が有界であるなら真のグループ G に対する公平性違反も有界になる（定理1）。
• Ĝ のみを用いる単純なアプローチはノイズの増加とともに G での公平性違反が増大する可能性があるが、ロバスト法はこのリスクを緩和する。
• 真のグループ G での公平性を保証しつつ訓練損失を最適化する2つのロバスト手法： (i) 分布的ロバスト最適化(DRO) および (ii) ノイズモデル P(G=j|Ĝ) を用いたソフトグループ割り当。
• DRO は Ĝ分布の周りに TV 距離ベースの不確実性集合を設ける保守的で原理的な界を提供し、ソフトグループ割り当はより保守的でない、モデルを意識した代替案を提供する。
• 実データのAdult（機会の平等）とCredit（同等化オッズ）で、ロバスト法はノイズレベルを跨いで平均的に真のグループの公平性を満たす一方、単純法より検証誤差率が高くなる；SA はしばし DRO より誤差を低くすることが多い。
• DRO はノイズが増すほどソフト割り当てより保守的（誤り率が高い）傾向がある。