[论文解读] Hidden Talents of the Variational Autoencoder

Bin Dai, Yu Wang+3 more|arXiv (Cornell University)|Jun 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 17

一句话总结

本文揭示了变分自编码器（VAEs）在数据中对稀疏异常值具有内在鲁棒性，可作为非线性低维流形上鲁棒PCA的自然延伸。通过可处理的解析案例，证明VAEs在严重污染下仍能最小化重构误差，有效排除异常值的同时保留底层流形结构。

ABSTRACT

Variational autoencoders (VAE) represent a popular, flexible form of deep generative model that can be stochastically fit to samples from a given random process using an information-theoretic variational bound on the true underlying distribution. Once so-obtained, the model can be putatively used to generate new samples from this distribution, or to provide a low-dimensional latent representation of existing samples. While quite effective in numerous application domains, certain important mechanisms which govern the behavior of the VAE are obfuscated by the intractable integrals and resulting stochastic approximations involved. Moreover, as a highly non-convex model, it remains unclear exactly how minima of the underlying energy relate to original design purposes. We attempt to better quantify these issues by analyzing a series of tractable special cases of increasing complexity. In doing so, we unveil interesting connections with more traditional dimensionality reduction models, as well as an intrinsic yet underappreciated propensity for robustly dismissing sparse outliers when estimating latent manifolds. With respect to the latter, we demonstrate that the VAE can be viewed as the natural evolution of recent robust PCA models, capable of learning nonlinear manifolds of unknown dimension obscured by gross corruptions.

研究动机与目标

• 探究变分自编码器（VAEs）在标准生成建模之外的隐藏鲁棒性特性。
• 分析VAEs在数据流形中存在严重污染和稀疏异常值时的行为。
• 在非线性、低维设置下，建立VAEs与鲁棒PCA之间的理论联系。
• 量化VAEs在稀疏、高幅度异常值掩盖下学习潜在流形的能力。
• 证明VAEs可作为非线性数据中鲁棒PCA模型的自然演化形式。

提出的方法

• 作者分析具有分段线性解码器函数和高斯潜在变量的VAEs的可处理特例，以简化变分目标。
• 他们定义了一种基于量化机制的解码器，其中输出均值根据潜在码设定为最近的训练样本，从而实现重构项的精确计算。
• 关键组成部分是使用分段线性函数 h(z)，将潜在码映射到训练样本，确保仅邻近样本被重构。
• 该方法采用切比雪夫不等式来界定错误量化的概率，从而界定期望重构误差的上界。
• 分析推导出VAE目标的上界，其与最小潜在距离的倒数及最大成对数据距离成比例。
• 通过将超参数 λx 和 λz 设为 α 并令 α→0，上界变为无下界，表明在有利条件下模型可实现任意低的目标值。

实验结果

研究问题

• RQ1 当数据中存在稀疏、高幅度异常值时，VAEs能否稳健估计低维流形？
• RQ2 在严重污染下，VAE目标函数如何表现？其是否自然抑制异常值的影响？
• RQ3 VAE的优化景观在多大程度上类似于鲁棒PCA模型的景观？
• RQ4 在训练数据中存在稀疏异常值的情况下，可为VAEs推导出哪些理论保证？
• RQ5 VAE的潜在空间优化是否本质上偏向于保留底层流形结构，同时拒绝异常值？

主要发现

• VAE目标可被一个依赖于潜在码间最小距离倒数的项所下界限定，表明码间分离良好时重构误差更低。
• 期望重构误差被界定为 η/λx 乘以错误量化的概率，其中 η 为数据点间最大成对距离。
• 利用切比雪夫不等式，错误量化的概率被界定为 λz/ρ²，其中 ρ 为潜在均值间最小平方距离的一半。
• 当方差参数 α = λx = λz 趋近于零时，VAE目标的上界变为无下界，表明在有利潜在配置下模型可实现任意低损失。
• 分析表明，VAEs由于仅在潜在码错误映射到错误数据点时才对异常样本施加重构惩罚，而这种错误在适当分离下极不可能发生，因此天然抵抗稀疏异常值。
• VAE被证明是鲁棒PCA在非线性、未知维度流形上的自然推广，即使在被稀疏异常值污染的情况下，也能学习到真实流形。