[论文解读] A PCA-like Autoencoder

Saïd Ladjal, Alasdair Newson+1 more|arXiv (Cornell University)|Apr 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 12

一句话总结

本文提出一种类似PCA的自编码器，能够学习到一个解耦且有序的潜在空间，其中每个维度捕获越来越重要的、统计独立的数据属性。通过渐进式训练并引入协方差损失，该模型实现了可解释的、有意义的插值——在椭圆等合成形状上进行了验证，其在解耦几何因子方面优于标准自编码器。

ABSTRACT

An autoencoder is a neural network which data projects to and from a lower dimensional latent space, where this data is easier to understand and model. The autoencoder consists of two sub-networks, the encoder and the decoder, which carry out these transformations. The neural network is trained such that the output is as close to the input as possible, the data having gone through an information bottleneck : the latent space. This tool bears significant ressemblance to Principal Component Analysis (PCA), with two main differences. Firstly, the autoencoder is a non-linear transformation, contrary to PCA, which makes the autoencoder more flexible and powerful. Secondly, the axes found by a PCA are orthogonal, and are ordered in terms of the amount of variability which the data presents along these axes. This makes the interpretability of the PCA much greater than that of the autoencoder, which does not have these attributes. Ideally, then, we would like an autoencoder whose latent space consists of independent components, ordered by decreasing importance to the data. In this paper, we propose an algorithm to create such a network. We create an iterative algorithm which progressively increases the size of the latent space, learning a new dimension at each step. Secondly, we propose a covariance loss term to add to the standard autoencoder loss function, as well as a normalisation layer just before the latent space, which encourages the latent space components to be statistically independent. We demonstrate the results of this autoencoder on simple geometric shapes, and find that the algorithm indeed finds a meaningful representation in the latent space. This means that subsequent interpolation in the latent space has meaning with respect to the geometric properties of the images.

研究动机与目标

• 解决标准自编码器中潜在维度既无独立性也无重要性排序的问题。
• 克服标准自编码器在潜在空间中无法保持统计独立性或有意义结构的局限性。
• 开发一种方法，训练自编码器使得潜在空间中的组件按数据重要性递减顺序排列，并且彼此统计独立。
• 实现潜在空间中反映数据几何或语义属性的有意义插值。

提出的方法

• 采用渐进式训练策略，从潜在维度大小为1开始，逐步在每一步增加一个维度。
• 在每个阶段，固定先前学习到的潜在组件，仅训练新增的组件，并从头开始重新训练解码器。
• 在标准自编码器的重建损失基础上引入协方差损失项，以促进潜在组件之间的统计独立性。
• 在潜在空间之前添加归一化层，以稳定训练过程并提高协方差损失的有效性。
• 通过迭代训练确保每个新增维度捕获数据中剩余的最重要变异。
• 借鉴PCA的结构——正交、有序且可解释的组件——同时保留深度自编码器的非线性表征能力。

实验结果

研究问题

• RQ1 我们能否训练一种自编码器，使其潜在维度在统计上相互独立，并按其对数据的重要性排序？
• RQ2 在固定先验组件的前提下进行渐进式训练，是否能提升所学习潜在空间的解耦性和可解释性？
• RQ3 基于协方差的正则化项是否能有效强制深度自编码器中潜在变量之间的统计独立性？
• RQ4 所提出的方法在多大程度上能够实现在潜在空间中反映底层数据因子（如形状、大小、旋转）的有意义插值？

主要发现

• PCA自编码器成功学习到一个解耦的潜在空间，其中每个组件对应一个独立的几何属性，如椭圆面积、长轴比和旋转角度。
• PCA自编码器潜在空间中的插值能产生有意义且可解释的图像属性变化——例如独立地改变大小或旋转，同时保持形状完整性。
• 相比之下，标准自编码器将几何属性混合在不同潜在维度中，导致插值路径模糊且难以导航。
• 该方法在具有受控因子的合成数据（如椭圆）上表现优异，其中第一维捕获面积，后续维度分别捕获长轴比和旋转。
• 该算法在处理半径和灰度值同时变化的圆形图像时，未能完全解耦大小与灰度属性，表明其在处理相关属性方面存在局限性。
• 渐进式训练与协方差损失的结合，共同实现了更具结构性和可解释性的潜在空间，其可解释性接近PCA，同时保留了非线性建模能力。