[論文レビュー] Effectiveness of Equalized Odds for Fair Classification under Imperfect Group Information.

Pranjal Awasthi, Matthäus Kleindeßner+1 more|arXiv (Cornell University)|Jun 7, 2019

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本稿は、保護属性情報が不完全な状況下における等しいオッズの公平性手法の有効性を調査する。中程度の保護属性ラベルの摂動が生じても、ノイズのあるデータを用いて等しいオッズを適用することで、元の分類器よりも分類器のバイアスを低減し、真の属性値を用いた場合と同等の誤差率を維持する。

ABSTRACT

Most approaches for ensuring or improving a model's fairness with respect to a protected attribute (such as race or gender) assume access to the true value of the protected attribute for every data point. In many scenarios, however, perfect knowledge of the protected attribute is unrealistic. In this paper, we ask to what extent fairness interventions can be effective even with imperfect information about the protected attribute. In particular, we study this question in the context of the prominent equalized odds method of Hardt et al. (2016). We claim that as long as the perturbation of the protected attribute is somewhat moderate, one should still run equalized odds if one would run it knowing the true protected attribute: the bias of the classifier that we obtain using the perturbed attribute is smaller than the bias of the original classifier, and its error is not larger than the error of the equalized odds classifier obtained when working with the true protected attribute.

研究の動機と目的

• 真の保護属性が完全に把握されていない状況下でも、等しいオッズのような公平性介入が有効に機能するかどうかを評価すること。
• 保護属性ラベルに摂動やノイズが加わった場合の分類器の公平性および正確性への影響を理解すること。
• グループメンバーシップが不確実な状況下で、等しいオッズがベースラインモデルを上回る条件を特定すること。
• 保護属性情報が不完全な状況で、公平な分類器の誤差とバイアスが著しく低下するかどうかを評価すること。
• 保護属性が誤って報告されたり推定されたりする可能性のある実世界の状況において、等しいオッズをどのように展開すべきかの実用的指針を提供すること。

提案手法

• 研究では、グループメンバーシップの現実的な不正確さを模倣するために、保護属性を制御された摂動を加える。
• 真の保護属性を用いて訓練された分類器と、摂動を加えた属性を用いて訓練された分類器のバイアスと誤差を比較する。
• 摂動は中程度であり、確率が制限されたランダムな反転などの現実的なノイズモデルに従うと仮定する。
• 公平性は、等しいオッズによって測定され、これは異なるグループ間で真正陽性率と偽陽性率が等しい必要があることを要請する。
• 摂動を加えたデータで訓練された分類器を、元の分類器および真のラベルで訓練された等しいオッズ分類器と比較する。
• 理論的および実験的分析により、摂動を加えた等しいオッズ分類器が、不完全な入力にもかかわらず強力な公平性性能を維持することが示された。

実験結果

リサーチクエスチョン

• RQ1 保護属性ラベルに中程度の摂動が加わると、等しいオッズ分類器の公平性と正確性にどのような影響を与えるか？
• RQ2 ノイズのあるグループ情報で等しいオッズを適用しても、元の分類器よりもバイアスが低くなるか？
• RQ3 摂動を加えた属性で訓練された公平な分類器の誤差率は、真の保護属性で訓練された分類器と比べてどうなるか？
• RQ4 グループメンバーシップが不確実または不完全に観測される状況下で、等しいオッズが有効に機能する条件は何か？
• RQ5 保護属性の完全な知識が得られない状況でも、等しいオッズを実用的に信頼して適用できるか？

主な発見

• 保護属性ラベルに中程度の摂動があっても、等しいオッズを適用することで、元の非公平分類器よりも分類器のバイアスが低減する。
• 摂動を加えた属性で訓練された等しいオッズ分類器の誤差率は、真の保護属性で訓練された分類器と同等のままである。
• 不完全なグループ情報下でも、等しいオッズによる公平性の向上が維持され、ラベルノイズに対して頑健であることが示された。
• 摂動が極端でない限り、この手法は強力な公平性性能を維持するため、不完全なデータを伴う実世界の応用に適している。
• 研究は、保護属性が完全に把握されていなくても等しいオッズを用いることに実験的および理論的根拠を提供する。
• 結果から、不完全なデータがあるからといって公平性介入を放棄すべきではなく、依然として意味のある公平性の向上が得られると示唆される。