[论文解读] Invariant Representations from Adversarially Censored Autoencoders

Ye Wang, Toshiaki Koike‐Akino+1 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 12

一句话总结

本文提出了一种新颖的方法，将条件变分自编码器（VAEs）与对抗性屏蔽相结合，以学习与无关变量或敏感变量（如MNIST中的数字类别）解耦的不变表示。通过训练一个判别器来从表示中预测无关变量，同时让VAE学习阻止这种预测，模型在重建性能下降最小的情况下实现了强大的不变性，从而在风格迁移和生成采样任务中提升了视觉质量。

ABSTRACT

We combine conditional variational autoencoders (VAE) with adversarial censoring in order to learn invariant representations that are disentangled from nuisance/sensitive variations. In this method, an adversarial network attempts to recover the nuisance variable from the representation, which the VAE is trained to prevent. Conditioning the decoder on the nuisance variable enables clean separation of the representation, since they are recombined for model learning and data reconstruction. We show this natural approach is theoretically well-founded with information-theoretic arguments. Experiments demonstrate that this method achieves invariance while preserving model learning performance, and results in visually improved performance for style transfer and generative sampling tasks.

研究动机与目标

• 解决学习对无关或敏感变化（如身份、风格或人口统计属性）不变的数据表示的挑战。
• 克服标准条件VAE在实现充分不变性时因优化和模型近似问题带来的局限性。
• 在强制实现不变性的同时保持模型学习性能（如重建质量），与以往对抗性方法会降低生成能力的做法不同。
• 将对抗性不变性方法推广至连续或类别型变量，而不仅限于二值或离散的敏感变量。
• 在下游任务（如风格迁移和生成采样）中展示改进的视觉性能。

提出的方法

• 使用条件VAE，其中编码器和解码器均以无关变量s为条件，实现表示的解耦学习。
• 训练一个对抗网络以从学习到的表示z中预测s，同时让VAE学习最小化该预测性能，从而强制实现不变性。
• 训练目标结合了标准VAE的证据下界（ELBO）与对抗损失，后者惩罚z中关于s的信息泄露。
• 该方法允许处理类别型和连续型无关变量，突破了以往仅假设二值敏感变量的限制。
• 解码器同时使用s和z来重建x，确保数据重建保真度，同时实现z中不变内容的清晰分离。
• 通过辅助判别器的交叉熵估计互信息I(s;z)，提供不变性的定量度量。

实验结果

研究问题

• RQ1 对抗性屏蔽能否有效强制条件VAE学习到的表示实现不变性？
• RQ2 将对抗性屏蔽与条件VAE结合，是否能比其他不变性方法更好地保持模型学习性能（如ELBO得分）？
• RQ3 与基线方法相比，该方法在风格迁移和生成采样任务中的定性表现如何？
• RQ4 该方法能否推广至非二值或连续型无关变量，而不仅限于以往对抗性不变性方法的限制？
• RQ5 在调整对抗损失权重时，不变性强度与重建质量之间的权衡关系如何？

主要发现

• 对抗性屏蔽的条件VAE在基线无条件VAE上的对抗准确率达到97.1%，随着λ增大，该准确率降至接近随机水平（≈10%），表明实现了强大的不变性。
• 随着λ增大，互信息I(s;z)降低至接近零，证实了z中s相关的信息被有效抑制。
• 与基于KL的屏蔽方法相比，该方法显著更好地保持了ELBO得分，后者导致明显的性能下降和更模糊的生成结果。
• 在风格迁移和生成采样任务中，对抗性屏蔽显著提升了视觉质量，尤其在部分条件设置下表现更优。
• 无条件自编码器配合对抗性屏蔽时性能迅速下降，需使用更高的λ值才能实现不变性，证实了条件化的优势。
• 该方法在对模型学习性能影响最小的情况下实现了不变性，在定量和定性指标上均优于标准VAE及其他不变性技术。