[论文解读] Autoencoding Variational Autoencoder

Ali Taylan Cemgil, Sumedh Ghaisas+3 more|arXiv (Cornell University)|Dec 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 15

一句话总结

本文提出自编码变分自编码器（AVAE），通过训练VAE重建其自身生成的样本，强制实现自一致性编码，从而提升表征鲁棒性。该方法在无需对抗训练的情况下，在ColorMNIST和CelebA数据集上实现了最先进（SOTA）的对抗鲁棒性，优于标准VAE和专门设计的鲁棒模型。

ABSTRACT

Does a Variational AutoEncoder (VAE) consistently encode typical samples generated from its decoder? This paper shows that the perhaps surprising answer to this question is `No'; a (nominally trained) VAE does not necessarily amortize inference for typical samples that it is capable of generating. We study the implications of this behaviour on the learned representations and also the consequences of fixing it by introducing a notion of self consistency. Our approach hinges on an alternative construction of the variational approximation distribution to the true posterior of an extended VAE model with a Markov chain alternating between the encoder and the decoder. The method can be used to train a VAE model from scratch or given an already trained VAE, it can be run as a post processing step in an entirely self supervised way without access to the original training data. Our experimental analysis reveals that encoders trained with our self-consistency approach lead to representations that are robust (insensitive) to perturbations in the input introduced by adversarial attacks. We provide experimental results on the ColorMnist and CelebA benchmark datasets that quantify the properties of the learned representations and compare the approach with a baseline that is specifically trained for the desired property.

研究动机与目标

• 探究为何标准VAE在生成典型样本时无法保持一致编码，从而损害表征质量。
• 解决标准VAE中解码器生成样本与其对应潜在表征之间的不一致性问题。
• 提出一种自一致性训练流程，通过强制自编码机制提升学习表征的鲁棒性。
• 证明自一致性可实现对抗鲁棒性，而无需使用对抗数据或微调。

提出的方法

• 提出一种新颖的变分下界，通过将潜在变量的后验分布建模为在编码器与解码器之间交替的马尔可夫链，强制编码器与解码器之间的一致性。
• 引入一种自监督后处理步骤，可应用于预训练的VAE，且无需访问原始训练数据。
• 采用两阶段训练流程：首先训练标准VAE，然后通过迭代编码与解码应用AVAE的自一致性目标。
• 使用编码器-解码器传递的马尔可夫链对真实后验分布进行随机近似，以优化潜在表征。
• 引入温度参数ρ，用于控制训练过程中自一致性正则化的强度。
• 在标准VAE训练基础上增加一个损失项，促使编码器将生成样本映射回其对应的生成潜在变量。

实验结果

研究问题

• RQ1 标准VAE是否能一致地编码其自身生成的典型样本，还是解码输出与编码器推断之间存在不匹配？
• RQ2 在VAE框架中强制实现自一致性是否能提升学习表征对对抗扰动的鲁棒性？
• RQ3 是否可能在不访问原始数据或从头开始重新训练的情况下，实现训练后的表征质量提升？
• RQ4 与对抗训练模型相比，自一致的AVAE在鲁棒性和下游性能方面表现如何？
• RQ5 超参数ρ和ρ_SE对学习表征的鲁棒性和泛化能力有何影响？

主要发现

• 在CelebA数据集的'Bald'任务中，AVAE在ε=0.1的PGD攻击下实现87.0%的对抗测试准确率，显著优于标准VAE（2.1%）和SE-AVAE（70.0%）。
• 在使用卷积架构的ColorMNIST数据集中，AVAE实现97.8%的名义准确率和86.5%的对抗准确率（ε=0.1 PGD攻击），远超标准VAE（97.9%名义准确率，2.1%对抗准确率）。
• 自监督的AVAE后处理步骤在所有17个CelebA任务中均提升了下游对抗准确率，平均时间因子提升2.2倍，鲁棒性提升2.2倍，优于标准VAE。
• AVAE在无需对抗数据的情况下实现了最先进水平的对抗鲁棒性，表明仅靠自一致性即可获得鲁棒表征。
• 该方法在不同架构（MLP和VGG）和数据集（ColorMNIST和CelebA）上均表现有效，展现出跨领域和模型结构的泛化能力。
• AVAE在CelebA上的FID得分为97.92，表明其生成样本质量高，同时保持强鲁棒性，表明样本质量与鲁棒性之间无权衡关系。