[论文解读] Invariant Representations without Adversarial Training

Daniel Moyer, Shuyang Gao+3 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用 97

一句话总结

该论文通过在VAE和VIB框架内直接最小化信息理论上的关于 I(z,c) 的上界来学习不受 c 影响的表征，避免对抗训练，同时达到或超过最先进的方法在公平表示和可控生成变换方面。

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

研究动机与目标

• 动机：在保留与任务相关的信息的同时，消除对干扰协变量 c 的依赖。
• 用可处理的信息理论目标替代对抗训练。
• 将 VAE 与变分信息瓶颈（VIB）框架改造以强制实现不变性。
• 展示在公平分类和可控图像生成中的实际收益。

提出的方法

• 将不变编码表述为最小化 L + λ I(z,c)，其中 L 是与任务相关的损失。
• 推导 I(z,c) 的变分上界，得到一个包含 KL(q(z|x) || p(z)) 和 重构项 p(x|z,c) 的实践损失。
• 通过成对 KL(q(z|x) || q(z|x')) 来近似 KL[q(z|x) || q(z)]，以避免计算不可处理的边际 q(z)。
• 在有监督设定中提供三分支模型：编码器 q(z|x)，解码器 p(x|z,c) 和预测器 p(y|z)。
• 展示如何从替代界 I(z,c) ≤ H(c) − H(c|z) 获得对抗性解释，并将其与从 z 推断 c 连接起来。

实验结果

研究问题

• RQ1 在没有对抗训练的情况下，最小化 I(z,c) 的上界是否会产生不变的潜在表示？
• RQ2 与对抗基线相比，c 不变的 VAE/VIB 在公平分类基准上的表现如何？
• RQ3 在测试阶段无法获取 c 的情况下，所提出的目标是否能够在生成建模中实现可控变换（类似 Fader-net 功能）？
• RQ4 用变分上界替代对抗训练在互信息上的实际影响是什么？

主要发现

Dataset	Adv. Loss	Pred Acc.	Maj. Class
German	0.725	0.695
VFAE [15]	0.717	0.720
Xie et al. [22]	0.811	0.695
Proposed	0.698	0.710
Adult	0. -	0. -	0.675/0.752
VFAE [15]	0.882	0.842
Xie et al. [22]	0.888	0.831
Proposed	0.776	0.842

• 提出的 c-agnostic 目标在公平分类任务上达到或超过对抗方法。
• 该方法在不同对手强度下提供具有竞争力的对抗误差，并且在测试时不需要 c。
• 在 MNIST 实验中，该方法通过在解码器上对 z 和目标 c 进行条件化实现类似 Fader 网络的操控。
• t-SNE 可视化显示，与基线相比，所提方法得到的不变量表示在聚类时更少因 c 而分组。
• 变分界/界限方法避免了对抗训练常见的训练不稳定性。