[论文解读] Consistency Regularization for Variational Auto-Encoders

Samarth Sinha, Adji Bousso Dieng|arXiv (Cornell University)|May 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 11

一句话总结

本文提出了一种用于变分自编码器（VAEs）的一致性正则化方法，以强制对输入图像及其语义保持不变的变换版本生成相似的潜在表征。通过最小化编码器对图像及其增强版本的后验分布之间的KL散度，该方法在多种VAE变体和数据集上提升了表征质量与泛化能力，在MNIST、CIFAR-10、CelebA以及3D点云数据上，使用CR-VAE和CR-NVAE均取得了当前最优性能。

ABSTRACT

Variational auto-encoders (VAEs) are a powerful approach to unsupervised learning. They enable scalable approximate posterior inference in latent-variable models using variational inference (VI). A VAE posits a variational family parameterized by a deep neural network called an encoder that takes data as input. This encoder is shared across all the observations, which amortizes the cost of inference. However the encoder of a VAE has the undesirable property that it maps a given observation and a semantics-preserving transformation of it to different latent representations. This "inconsistency" of the encoder lowers the quality of the learned representations, especially for downstream tasks, and also negatively affects generalization. In this paper, we propose a regularization method to enforce consistency in VAEs. The idea is to minimize the Kullback-Leibler (KL) divergence between the variational distribution when conditioning on the observation and the variational distribution when conditioning on a random semantic-preserving transformation of this observation. This regularization is applicable to any VAE. In our experiments we apply it to four different VAE variants on several benchmark datasets and found it always improves the quality of the learned representations but also leads to better generalization. In particular, when applied to the Nouveau Variational Auto-Encoder (NVAE), our regularization method yields state-of-the-art performance on MNIST and CIFAR-10. We also applied our method to 3D data and found it learns representations of superior quality as measured by accuracy on a downstream classification task.

研究动机与目标

• 为解决VAE编码器中的不一致性问题，即语义上等价的图像（如旋转或平移后的图像）被映射到潜在空间中不同区域的问题。
• 在不修改底层架构的前提下，提升VAE中学习到的表征质量和泛化能力。
• 开发一种适用于任意VAE变体的正则化方法，以增强下游任务和生成建模的性能。
• 在基准数据集（包括图像和3D点云数据）上展示一致性正则化VAE的当前最优结果。

提出的方法

• 引入一种一致性正则化项，通过最小化编码器对输入图像及其语义保持不变的变换版本所诱导的变分后验分布之间的KL散度。
• 在训练过程中通过联合优化标准VAE目标（ELBO）和一致性损失来应用该正则化。
• 使用数据增强（如旋转、平移、缩放、抖动）生成语义上等价的图像和点云变换。
• 通过将一致性损失整合到其训练目标中，将该方法扩展至多种VAE变体，包括VAE、IWAE、β-VAE和NVAE。
• 在3D点云数据上，使用FoldingNet作为主干网络，将其转换为VAE，并在潜在空间中添加一致性正则化。
• 使用随机梯度下降进行端到端训练，一致性损失通过潜在变量的蒙特卡洛采样计算。

实验结果

研究问题

• RQ1 在VAE编码器的潜在表征中强制一致性是否能提升表征质量？
• RQ2 一致性正则化是否能提升在多种VAE架构和数据集上的泛化性能？
• RQ3 该方法是否能在表征学习中超越对比学习基线（如三元组损失）？
• RQ4 一致性正则化是否能提升3D点云重建和分类任务的性能？
• RQ5 该方法是否能在标准图像基准数据集（如MNIST、CIFAR-10和CelebA）上实现当前最优结果？

主要发现

• 一致性正则化在MNIST、CIFAR-10和CelebA数据集上，对四种VAE变体（VAE、IWAE、β-VAE和NVAE）均一致地提升了表征质量和泛化能力。
• CR-NVAE在MNIST和CIFAR-10上实现了当前最优的对数似然性能，优于基线NVAE。
• 在ShapeNet 3D点云数据集上，CR-FoldingNet在线性SVM分类任务中达到84.6%的准确率，而基线FoldingNet为82.5%。
• CR-FoldingNet的重建误差为0.0327（Chamfer距离），低于基线的0.0355，表明其生成质量有所提升。
• 使用CR-FoldingNet在潜在空间中进行插值可产生平滑且可解释的物体类别间过渡，表明潜在空间具有解耦且有意义的特性。
• 在3D数据的下游分类任务中，该方法在分类准确率上优于强对比学习基线——三元组损失。