[论文解读] Autoencoder Image Interpolation by Shaping the Latent Space

Alon Oring, Zohar Yakhini+1 more|arXiv (Cornell University)|Aug 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 10

一句话总结

该论文提出了一种正则化技术，通过使自编码器的潜在空间变得平滑且局部凸，从而减少伪影，提升图像插值的保真度。通过结合对抗性损失、循环一致性损失和平滑性损失，该方法实现了图像之间逼真的插值，相较于标准自编码器、VAE和AAE，在COIL-100和合成杆状物数据集上均表现出更高的重建保真度和更平滑的插值效果。

ABSTRACT

Autoencoders represent an effective approach for computing the underlying factors characterizing datasets of different types. The latent representation of autoencoders have been studied in the context of enabling interpolation between data points by decoding convex combinations of latent vectors. This interpolation, however, often leads to artifacts or produces unrealistic results during reconstruction. We argue that these incongruities are due to the structure of the latent space and because such naively interpolated latent vectors deviate from the data manifold. In this paper, we propose a regularization technique that shapes the latent representation to follow a manifold that is consistent with the training images and that drives the manifold to be smooth and locally convex. This regularization not only enables faithful interpolation between data points, as we show herein, but can also be used as a general regularization technique to avoid overfitting or to produce new samples for data augmentation.

研究动机与目标

• 解决由潜在流形非平滑、非凸导致的基于自编码器图像插值中的伪影问题。
• 通过使潜在空间更好地反映底层数据流形，提升图像之间插值的保真度。
• 开发一种通用的正则化方法，以提升低数据量场景下的插值质量和减少过拟合。
• 通过在潜在空间中强制实现几何一致性，实现数据点之间平滑连续的过渡。

提出的方法

• 提出一种新颖的正则化框架，结合对抗性损失、循环一致性损失和平滑性损失，以塑造潜在空间。
• 使用判别器区分真实数据与插值生成的潜在向量，以鼓励生成更真实的解码结果。
• 应用循环一致性损失，确保从x插值到y再返回x的过程能保持原始数据点不变。
• 实现平滑性损失，以强制潜在流形具备局部凸性和连续性。
• 在标准自编码器中应用所提出的正则化方法，生成保真度高的插值结果，且无需修改网络架构。
• 采用256维潜在空间，并在COIL-100和一个具有不同光照条件的合成杆状物数据集上评估性能。

实验结果

研究问题

• RQ1 如何提升基于自编码器模型的图像插值真实感与保真度？
• RQ2 潜在流形的几何结构在插值质量中起到何种作用？
• RQ3 对抗性损失与循环一致性损失能否有效正则化潜在空间，以减少插值伪影？
• RQ4 平滑性正则化如何影响插值路径的连续性与单调性？
• RQ5 该方法能否作为有限训练数据下生成模型的通用正则化器？

主要发现

• 与基线方法相比，该方法在COIL-100数据集上将插值图像重建的均方误差（MSE）降低了最多30%。
• 在不同alpha值下，MSE的标准差显著低于AAE、ACAI和β-VAE，表明重建质量更一致。
• 基于与最近邻数据集图像的L1距离预测正确alpha值时，该方法生成的插值图像具有最小的四分位距（IQR），表明插值精度更优。
• 该方法在参数空间中实现了单调且平滑的过渡，优于β-VAE，后者在某些区间表现出非单调行为。
• 视觉评估确认，该方法生成的插值结果无伪影，而AAE、ACAI和β-VAE则引入了明显的失真或突变模式。
• 对抗性损失、循环一致性损失和平滑性损失的结合，有效使潜在流形呈现局部凸且平滑的特性，从而实现高保真的插值。