[論文レビュー] Equalized odds postprocessing under imperfect group information

Pranjal Awasthi, Matthäus Kleindeßner+1 more|arXiv (Cornell University)|Jun 7, 2019

Ethics and Social Impacts of AI参考文献 38被引用数 17

ひとこと要約

本稿は、保護属性情報が不完全な状況下における等しいオッズ後処理のロバスト性を検討し、誤差が特定の自然な条件を満たす場合、公平性の向上が保持されることを示している。形式的証明により、これらの条件下では、元の分類器よりも公平性が向上し、誤差も低く保たれることを示している。特に、中程度の摂動が加えられても同様に成り立つ。

ABSTRACT

Most approaches aiming to ensure a model's fairness with respect to a protected attribute (such as gender or race) assume to know the true value of the attribute for every data point. In this paper, we ask to what extent fairness interventions can be effective even when only imperfect information about the protected attribute is available. In particular, we study the prominent equalized odds postprocessing method of Hardt et al. (2016) under a perturbation of the attribute. We identify conditions on the perturbation that guarantee that the bias of a classifier is reduced even by running equalized odds with the perturbed attribute. We also study the error of the resulting classifier. We empirically observe that under our identified conditions most often the error does not suffer from a perturbation of the protected attribute. For a special case, we formally prove this observation to be true.

研究の動機と目的

• 保護属性が完全に把握されていない状況下でも、等しいオッズ後処理のような公平性介入が有効に機能するかどうかを調査すること。
• ベースライン分類器よりも公平性が向上することを保証するための属性摂動の条件を同定すること。
• 後処理において摂動を加えた保護属性を使用する場合の、公平性と精度のトレードオフを分析すること。
• 特にバランスの取れた設定において、摂動が加えられた場合でも誤差が真の属性を用いた場合と著しく差がないことを形式的に確立すること。

提案手法

• Hardtら（2016）の等しいオッズ後処理手法を、保護属性が確率 γ₀ および γ₁ で独立に反転するモデルのもとで分析する。
• 得られる分類器の公平性バイアスが元の分類器よりも厳密に小さくなるような摂動（γ₀, γ₁）の条件を導出する。
• 形式的な公平性バイアス測度を導入し、摂動された属性と真の属性を用いて訓練された分類器の公平性を比較する。
• 実世界のデータセット（COMPAS、Adult）を用いた実験的評価を行い、DRO や標準的な ERM といったベースライン手法と比較する。
• 繰り返し訓練が行われる状況下での長期的公平性と精度を評価するために、順次分類設定に本手法を適用する。
• Y と A の同時分布が一様であるバランスの取れた状況において、誤差が摂動によって著しく増加しないことを形式的に証明する。

実験結果

リサーチクエスチョン

• RQ1 保護属性の摂動がどの程度の条件下で、等しいオッズ後処理が元の分類器よりも公平性バイアスを低減するのか。
• RQ2 摂動された属性を用いて訓練された分類器の誤差は、真の属性を用いた場合の誤差と比べてどの程度か。
• RQ3 等しいオッズ後処理による公平性の向上は、中程度の属性ノイズや誤分類に対してロバストか。
• RQ4 保護属性が正確には分からない状況でも、等しいオッズ後処理が信頼できる公平性手法として機能するか。
• RQ5 順次学習設定において、摂動された属性を用いた等しいオッズ後処理の性能は、分布的ロバスト最適化（DRO）と比べてどうか。

主な発見

• バランスの取れた設定（P(Y=y, A=a) = 1/4 が一様）において、γ < 0.5 の場合、後処理済み分類器の公平性バイアスは元の分類器よりも厳密に小さい。
• 実験的結果から、同定された条件下では、摂動された属性を用いた分類器の誤差は、真の属性を用いた場合の誤差と比べて通常は大きくならず、中程度の摂動では差が無視できる程度にとどまる。
• バランスの取れた状況において、本稿は形式的に証明している：摂動された属性を用いて訓練された分類器の誤差は、真の属性を用いた場合と著しく差がない。
• 等しいオッズ後処理手法は、保護属性が高い確率で反転しても（例：γ₀ = γ₁ = 0.45）公平性の向上を維持し、標準的な ERM よりも乖離の拡大を効果的に防ぐ。
• 摂動が非対称であっても（例：γ₀ = 0.1, γ₁ = 0.8）本手法は有効であるため、クラス固有のノイズに対してもロバストであることが示唆される。
• 同定された摂動の条件は、公平性向上を保証するために必須であり、これらの条件が満たされない場合には、公平性向上の保証は成立しない。