[論文レビュー] Controllable Invariance through Adversarial Feature Learning

Qizhe Xie, Zihang Dai+3 more|arXiv (Cornell University)|May 31, 2017

Adversarial Robustness in Machine Learning参考文献 18被引用数 60

ひとこと要約

本論文は、エンコーダ、識別器、予測子の三者 minimax ゲームを通じて、タスクに関連する情報を保持しつつ、指定された属性 s に不変な表現を学習する汎用的 adversarial フレームワークを提示する。理論的な均衡解析を提供し、公平な分類、言語非依存の生成、照明非依存の画像分類の分野で一般化の改善を示す。

ABSTRACT

Learning meaningful representations that maintain the content necessary for a particular task while filtering away detrimental variations is a problem of great interest in machine learning. In this paper, we tackle the problem of learning representations invariant to a specific factor or trait of data. The representation learning process is formulated as an adversarial minimax game. We analyze the optimal equilibrium of such a game and find that it amounts to maximizing the uncertainty of inferring the detrimental factor given the representation while maximizing the certainty of making task-specific predictions. On three benchmark tasks, namely fair and bias-free classification, language-independent generation, and lighting-independent image classification, we show that the proposed framework induces an invariant representation, and leads to better generalization evidenced by the improved performance.

研究の動機と目的

• 指定された因子 s に対して不変でありつつ y の予測力を維持する表現を学ぶ動機づけと形式化。
• 離散・連続・構造化された s を扱える汎用的で拡張可能な adversarial フレームワークを開発する。
• 不変性と予測性のバランスを取る均衡の理論分析を提供する。
• 公正な分類、多言語翻訳、照明が異なる環境での画像分類など、適用性を示す。
• ベースラインや既存の不変特徴法よりも経験的に改善を示す。

提案手法

• エンコーダ E、識別器 D、予測子 M を用いた minimax ゲームを定式化し、J(E,M,D)=E_{x,s,y}[ γ log q_D(s|h) − log q_M(y|h) ]、ここで h = E(x,s) を最適化する。
• 識別器 D は h から s を予測して q_D(s|h) を最大化しようとし、エンコーダ E と予測子 M はこの量を最小化して h から s を除去しつつ y の情報を保持する。
• 最適な D と M が E に対して q_D*(s|h)=p̃(s|h) および q_M*(y|h)=p̃(y|h) となることを示す理論的分析を提供し、目的関数を条件付きエントロピーの平衡 −γ H(p̃(s|h)) + H(p̃(y|h)) に還元する。
• 文章生成のためのパラメトリックな具体化を説明（言語を s とする多言語 MT、フェア分類で s を性別・年齢などのノイズ因子とする、画像分類で照明を s とするなど）。
• 勾配反転（GAN 的手法）や交互トレーニングを含む最適化手法、および Adam 最適化の使用を説明する。

実験結果

リサーチクエスチョン

• RQ1 タスクに関連する情報 y を保持しつつ、ノイズ属性 s に関する情報を除去した表現 h を学べるか？
• RQ2 不変性と予測精度のバランス（γ によって制御）が均衡と性能にどのように影響するか？
• RQ3 adversarially 学習した不変表現は、標準的なベースラインと比較して、ドメイン非依存タスク（公正分類、多言語生成、照明不変認識）の一般化を改善するか？
• RQ4 p(y|x,s) は特定のタスクで p(y|x) より有利か、そしてこれがクロスドメイン性能にどう影響するか？
• RQ5 離散・連続・構造化 s の実装における実務的な影響と制約は何か？

主な発見

• このフレームワークは不変な表現を生み出し、公平分類・多言語翻訳・照明不変の画像分類という3つの分野で一般化を改善した。
• 公正分類では、学習された表現が s の漏洩を抑えつつ y の精度を維持または改善し、マイノリティグループに対する公平性を改善した。
• 多言語 MT では、識別器を用いたモデルがバイリンガルおよび標準的な多言語基準を上回り、BLEU スコアが向上（例: fr-en および de-en でそれぞれ 36.1/35.5、28.1/35.2/35.5 などのベースラインを上回る）。
• Extended Yale B の照明不変タスクでは、最良ベースラインの 85% に対して 89% の同一性分類精度を達成し、s の予測性を 0.96 から 0.57 に低減させることで照明情報の効果的な除去を示した。
• 理論分析は、s が y にとって無関係なときには win-win 均衡、s が y を情報として持つ場合には競合的均衡が生じることを示し、γ が不変性と予測力のトレードオフを調整する。