[论文解读] From Principal Subspaces to Principal Components with Linear Autoencoders

Elad Plaut|arXiv (Cornell University)|Apr 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 83

一句话总结

该论文展示如何从线性自编码器的权重中恢复 PCA 加载向量，从而通过线性自编码器实现精确的 PCA，并讨论特性、效率和在线适用性。它证明前 m 个加载向量是自编码器权重矩阵的前 m 个左奇异向量，并在 MNIST 和 CUB-200-2011 数据集上与 PCA 的实证对齐。

ABSTRACT

The autoencoder is an effective unsupervised learning model which is widely used in deep learning. It is well known that an autoencoder with a single fully-connected hidden layer, a linear activation function and a squared error cost function trains weights that span the same subspace as the one spanned by the principal component loading vectors, but that they are not identical to the loading vectors. In this paper, we show how to recover the loading vectors from the autoencoder weights.

研究动机与目标

• 将 PCA 视为一种线性变换，其目标是最大化方差并最小化重构误差。
• 表明线性自编码器的权重张成主子空间，但不等同于加载向量，并提出从权重中恢复加载向量的方法。
• 提出并验证从自编码器权重中恢复 PCA 加载向量的方法，得到唯一、去相关且排序的坐标。
• 在大型高维数据集和在线学习场景中展示该方法的实用性。

提出的方法

• 通过居中数据来公式化 PCA，并将加载向量定义为居中协方差矩阵的特征向量。
• 证明具有单隐藏层和平方误差损失的线性自编码器导致的权重优化问题等价于投影到主子空间。
• 证明通过取自编码器权重矩阵 W2 的左奇异向量可以恢复加载向量（或通过 W2 的伪逆得到 W1）。
• 论证恢复的加载向量在变换坐标中产生对角协方差，符合 PCA 的性质（方差排序、去相关）。
• 讨论在线训练的适用性与相对于标准 PCA 的优势，包括不需要数据居中以及与大规模数据的兼容性。

实验结果

研究问题

• RQ1 PCA 的加载向量是否可以从线性自编码器的权重中恢复？
• RQ2 恢复的加载集合是否唯一，且在降维过程是否保持 PCA 的性质（去相关、排序、嵌套）？
• RQ3 在权重中恢复加载向量时，使用标准优化器和正则化训练线性自编码器是否得到与 PCA 等价的结果？
• RQ4 该方法在高维、大规模数据集以及在线学习环境中的表现如何？

主要发现

• Y 的前 m 个加载向量与 W2 的前 m 个左奇异向量一致（通过伪逆也等价于 W1）。
• 从自编码器权重恢复加载向量会产生一个唯一的、去相关、方差排序的坐标系，并为不同目标维度提供嵌套解。
• 在 MNIST 上的经验结果表明，W2 的左奇异向量在符号方面与 PCA 加载向量非常接近；变换坐标中的协方差变为对角且对角线元素按降序排列。
• 在像 CUB-200-2011 这样的大型高维数据集上，可以从 W2 恢复 PCA 加载向量，在变换空间实现近似对角的协方差，验证可扩展性。