[論文レビュー] Learning Adversarially Fair and Transferable Representations

David Madras, Elliot Creager+2 more|arXiv (Cornell University)|Feb 17, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用数 190

ひとこと要約

本論文は、対立的 Objectives を用いて公平性を強制する表現を学習するフレームワーク（LAFTR）を提案し、未知のタスクへの公正な転移を実証します。

ABSTRACT

In this paper, we advocate for representation learning as the key to mitigating unfair prediction outcomes downstream. Motivated by a scenario where learned representations are used by third parties with unknown objectives, we propose and explore adversarial representation learning as a natural method of ensuring those parties act fairly. We connect group fairness (demographic parity, equalized odds, and equal opportunity) to different adversarial objectives. Through worst-case theoretical guarantees and experimental validation, we show that the choice of this objective is crucial to fair prediction. Furthermore, we present the first in-depth experimental demonstration of fair transfer learning and demonstrate empirically that our learned representations admit fair predictions on new tasks while maintaining utility, an essential goal of fair representation learning.

研究の動機と目的

• 第三者が未知の目的を持つ場合の下流予測の不公平を緩和する手段として表現学習を動機づける。
• グループフェアネスの概念を対立的Objectivesに結びつけ、理論的な公正性保証を提供する。
• 新しいタスクで公正な予測をもたらしつつ有用性を維持する転移可能な表現学習フレームワークを開発・評価する。

提案手法

• エンコーダ f、分類器 g、デコーダ k、代表表現 Z 上で動作する対抗者 h からなる一般化された表現学習モデルを提案する。
• 分類損失、復元損失、敏感属性 A を保護することを目的とした対抗損失を組み合わせたミニマックス目的を定義する。
• デモグラフィックパリティ、等化オッズ、等機会のための新しいグループフェアネス駆動の対抗目的を導入する。
• f、g、h、k を実装するニューラルネットワークを使用し、交互勾配降下法ステップで訓練する。
• 対抗者の目的が g の下流フェアネス違反を上界で抑制する理論的境界を提示する。
• 再構成 objective で訓練し unseen transfer tasks で評価することにより公正な移転を強調する。）

(a) Tradeoff between accuracy and $\Delta_{DP}$

実験結果

リサーチクエスチョン

• RQ1 対抗的に訓練された表現は、さまざまなグループフェアネス指標に対する下流の不公平さを抑制できるか。
• RQ2 学習された表現は、下流モデルで明示的な公正性制約を課さなくても、未知のタスクで公正で正確な予測を認めるか（公正な転移）。
• RQ3 異なる対抗的目的（DP、EO、EOpp）は、それぞれの公正性概念とその保証とどのように対応するか。
• RQ4 表現中心の公正性アプローチが転移学習のパフォーマンスに与える影響は多様なタスクでどうなるか。

主な発見

• 対抗的に訓練された表現は、下流の分類器に対するデモグラフィックパリティと等化オッズの格差を抑制できる。
• このアプローチは公正な転移を実現し、あるタスクで学習した表現が未知のタスクで公正な予測を支援しつつ有用性を維持する。
• 異なる対抗的目的は、デモグラフィックパリティ、等化オッズ、等機会の概念と一致し、適切な公正性制御を提供する。
• Adult での実験は、各公正性指標に対して精度と公正性のトレードオフが有利になることを示している。
• 本論文は、学習された表現を用いた公正な転移学習の初の詳細な実験的実証を提供する。

(b) Tradeoff between accuracy and $\Delta_{EO}$