[論文レビュー] Invariant Representations without Adversarial Training

Daniel Moyer, Shuyang Gao+3 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 97

ひとこと要約

この論文本体は、VAEおよびVIBフレームワーク内でI(z,c)に関する情報理論的上限を直接最小化することにより、敵対的訓練を回避しつつ、公正な表現や制御可能な生成変換を実現するc非依存表現の学習を提案する。

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

研究の動機と目的

• nuisance共変量 c への依存を排除しつつ、タスク関連情報を保持する動機付け。
• 敵対的訓練を、扱いやすい情報理論的目的に置換。
• 不変性を強制するためにVAEおよびVariational Information Bottleneck (VIB) フレームワークを適用。
• 公正な分類と制御可能な画像生成における実用的利点を実証。

提案手法

• 不変符号化を、L + λ I(z,c) を最小化する問題として定式化（L はタスク関連損失）。
• I(z,c) の変分上界を導出し、KL(q(z|x) || p(z)) と再構成項 p(x|z,c) を含む実用的損失へ変換。
• ペアワイズKL(q(z|x) || q(z|x')) を用いて不可能な周辺分布 q(z) の計算を回避し、KL[q(z|x) || q(z)] を近似。
• 教師付き設定の三枝モデルを提供：エンコーダ q(z|x)、デコーダ p(x|z,c)、予測子 p(y|z)。
• 別の界の I(z,c) ≤ H(c) − H(c|z) から敵対的解釈を得る方法を示し、z から c を推定することとの結びつきを説明。

実験結果

リサーチクエスチョン

• RQ1 I(z,c) の上界を最小化するだけで、敵対的訓練なしで不変な潜在コードが得られるか。
• RQ2 公正な分類ベンチマークにおける c非依存VAE/VIB の敵対的ベースラインと比較した性能はどうか。
• RQ3 提案目的が敵対的訓練なしで生成モデリングにおけるFader-型の操作性を可能にするか（テスト時に c へアクセスできない場合）。
• RQ4 敵対的訓練を変分上限で置換することの実用的影響は何か。

主な発見

Dataset	Adv. Loss	Pred Acc.	Maj. Class
German	0.725	0.695
VFAE [15]	0.717	0.720
Xie et al. [22]	0.811	0.695
Proposed	0.698	0.710
Adult	0. -	0. -	0.675/0.752
VFAE [15]	0.882	0.842
Xie et al. [22]	0.888	0.831
Proposed	0.776	0.842

• 提案された c-agnostic 目的は、公正な分類タスクにおいて敵対的手法と同等以上の性能を達成する。
• 敵対的な誤り率は、様々な敵対的強度に対して競争力があり、テスト時に c を必要としない。
• MNIST 実験では、z を条件としターゲット c を与えることでFader-ネットワーク風の操作が可能になる。
• 提案法では、t-SNE の可視化で従来法に比べて c による不変性のクラスタリングが小さくなる。
• 変分界のアプローチは、敵対的訓練で見られる訓練不安定性を回避する。