[論文レビュー] Fairness without Demographics through Adversarially Reweighted Learning

Preethi Lahoti, Alex Beutel+6 more|arXiv (Cornell University)|Jun 23, 2020

Ethics and Social Impacts of AI参考文献 52被引用数 46

ひとこと要約

ARL は未観測の保護グループに対して訓練データの重みを敵対的に再ウェイトすることで最大-最小の公平性を向上させ、DRO よりも最悪ケースの AUC を改善しつつ全体の AUC を維持または改善します。

ABSTRACT

Much of the previous machine learning (ML) fairness literature assumes that protected features such as race and sex are present in the dataset, and relies upon them to mitigate fairness concerns. However, in practice factors like privacy and regulation often preclude the collection of protected features, or their use for training or inference, severely limiting the applicability of traditional fairness research. Therefore we ask: How can we train an ML model to improve fairness when we do not even know the protected group memberships? In this work we address this problem by proposing Adversarially Reweighted Learning (ARL). In particular, we hypothesize that non-protected features and task labels are valuable for identifying fairness issues, and can be used to co-train an adversarial reweighting approach for improving fairness. Our results show that {ARL} improves Rawlsian Max-Min fairness, with notable AUC improvements for worst-case protected groups in multiple datasets, outperforming state-of-the-art alternatives.

研究の動機と目的

• 保護属性がプライバシーや規制のために利用できない場合の機械学習における公正性の動機づけ。
• 未知の保護グループに対する Rawlsian Max-Min 公正性を形式化。
• 計算的に特定可能な誤差領域を上方補正する ARL を導入し、最も不利なグループの性能を改善。
• ARL の頑健性とデータセット間の挙動について、実証的および分析的洞察を示す。

提案手法

• 観測されていない保護グループ全体で最小の集合効用を最大化するミニマックス目的を定式化。
• predictor f_phi(X,Y) が高い損失領域を識別し損失を重み付ける lambda_phi を生成する敵対的再ウェイト機構を導入。
• 安定性とすべての例の参加を確保するために敵対的重みを制約・正規化。
• 二人零和ゲーム（ミニマックス最適化）として学習者 h_theta と敵対者 f_phi を交互に訓練。
• 小規模データセットには線形敵対者や簡単なネットワークを使用；オープンソースの TensorFlow 実装を提供。

実験結果

リサーチクエスチョン

• RQ1 訓練時および推論時に保護グループの所属が未知でも公正性を改善できるか？
• RQ2 計算的に識別可能な誤差領域に基づく敵対的再ウェイト付けは、DRO のような既存手法と比較して最悪ケースの性能（AUC_min）を上回るか？
• RQ3 ARL が全体的な効用（AUC_avg）と表現・ラベルのバイアスに対する頑健性にどのような影響を及ぼすか？
• RQ4 学習された例の重みは実際の誤分類およびベースレートの変化とどのように相関するか？

主な発見

• ARL は Adult、LSAC、COMPAS データセットで最悪ケースの保護グループ AUC を改善し、DRO およびベースラインより AUC_min および多くの場合 AUC_minority で優位を示した。
• Adult で基準より最大 6.5 ポイントの AUC 改善を達成し、複数データセットで AUC_avg および AUC_macro を改善した。
• ARL は基準値および DRO よりも全体の AUC（AUC_avg）で良好な、あるいは同等の性能を達成し、ユーティリティと公平性のトレードオフが有利であることを示唆する。
• 実験では ARL の重みが誤分類または高損失領域に焦点を当て、ベースレートの変化に適応することが示され、意味のある解釈可能な重み付けパターンを示す。
• ARL は表現バイアスおよび特定のラベルノイズのシナリオに頑健である一方、重いラベルノイズでは他の公正性アプローチと同様に劣化する可能性がある。