[論文レビュー] Learning Generative Adversarial RePresentations (GAP) under Fairness and Censoring Constraints

Jiachun Liao, Chong Huang+2 more|arXiv (Cornell University)|Sep 27, 2019

Adversarial Robustness in Machine Learning参考文献 4被引用数 9

ひとこと要約

GAPは、敵対的生成フレームワークを提案し、エンコーダーを訓練することで、敵対者と協力的なミニマックスゲームを通じて感受性のある属性を分離する。情報理論的耐性を用いて、人種的公平性と強力な監視の保証を達成し、合成および実データセットで検証された、複雑な敵対者への認証可能な一般化を実現する。

ABSTRACT

We present Generative Adversarial rePresentations (GAP) as a data-driven framework for learning censored and/or fair representations. GAP leverages recent advancements in adversarial learning to allow a data holder to learn universal representations that decouple a set of sensitive attributes from the rest of the dataset. Under GAP, finding the optimal fair/censoring encoder is formulated as a constrained minimax game between a data encoder and an adversary. We show that for appropriately chosen adversarial loss functions, GAP provides censoring guarantees against strong information-theoretic adversaries and enforces demographic parity. We also evaluate the performance of GAP on multi-dimensional Gaussian mixture models and real datasets, and show how a designer can certify that representations learned under an adversary with a fixed architecture perform well against more complex adversaries.

研究の動機と目的

• 感受性のある属性から分離された表現を学習するデータ駆動型フレームワークの開発。
• 非感受性特徴の有用性を保ちながら、人種的公平性を強制すること。
• 表現学習における強い情報理論的敵対者に対する理論的保証の提供。
• より複雑な敵対者に対する学習済み表現の耐性の認証を可能にすること。
• 制御された公平性および監視制約のもとで、合成および実世界のデータセットにおけるフレームワークの評価。

提案手法

• データエンコーダーと敵対者との間の制約付きミニマックスゲームとして、公平な表現学習問題を定式化する。
• エンコーダー表現からの感受性のある属性の推定能力を制限する敵対的損失関数を用いる。
• 学習済み表現における人種的公平性を強制するための公平性制約を課す。
• 異なるデータ分布に一般化可能なユニバーサルエンコーダー・アーキテクチャを採用する。
• 固定アーキテクチャを持つ敵対者に対する表現の耐性を検証する認証メカニズムを導入する。
• 最近の敵対的学習の進展を活用し、最小限の仮定のもとで強い監視の保証を達成する。

実験結果

リサーチクエスチョン

• RQ1 生成的敵対的フレームワークは、公平で情報理論的敵対者に対して耐性のある表現を効果的に学習できるか？
• RQ2 GAPで学習された表現は、人種的公平性を確保しつつ、どれほど有用性を維持できるか？
• RQ3 固定アーキテクチャを持つ敵対者の性能を、より複雑な敵対者に一般化できる程度はどの程度か？
• RQ4 異なる敵対的損失関数が、学習済み表現の公平性および監視保証に与える影響は何か？
• RQ5 GAPは、ベースラインの公平性手法と比較して、実世界のデータセットでどの程度の性能を示すか？

主な発見

• GAPは、合成および実世界のデータセットにおいて、感受性のある属性を学習済み表現から効果的に分離することで、強い人種的公平性を達成する。
• 適切に設計された敵対的損失関数のおかげで、強い情報理論的敵対者に対する理論的監視保証を提供する。
• 提案された検証メカニズムにより、より複雑な敵対者に対しても、GAPで学習された表現の耐性が確認された。
• 多変量ガウス混合モデルにおける性能評価により、フレームワークが公平性を強制しつつ表現の有用性を維持できることを確認した。
• 認証フレームワークにより、訓練時に使用されたアーキテクチャよりも複雑な敵対者に対しても、敵対的耐性の信頼できる評価が可能になった。
• 実験結果から、GAPは非感受性特徴の有用性を保ちながら、ベースライン手法を上回る公平性の強制を実現した。