[论文解读] Loss Landscapes of Regularized Linear Autoencoders

Daniel Kunin, Jonathan M. Bloom+2 more|arXiv (Cornell University)|Jan 23, 2019

Model Reduction and Neural Networks参考文献 32被引用 22

一句话总结

该论文证明了$L_2$-正则化线性自编码器（LAE）在解码器的左奇异向量处学习主成分，打破了无正则化LAE的对称性，从而实现主方向的恢复。正则化将对称群从$\mathrm{GL}_k(\mathbb{R})$减少至$\mathrm{O}_k(\mathbb{R})$，确保在所有临界点处编码器与解码器互为转置，并将最小值与概率主成分分析中的MAP估计联系起来。

ABSTRACT

Autoencoders are a deep learning model for representation learning. When trained to minimize the distance between the data and its reconstruction, linear autoencoders (LAEs) learn the subspace spanned by the top principal directions but cannot learn the principal directions themselves. In this paper, we prove that $L_2$-regularized LAEs are symmetric at all critical points and learn the principal directions as the left singular vectors of the decoder. We smoothly parameterize the critical manifold and relate the minima to the MAP estimate of probabilistic PCA. We illustrate these results empirically and consider implications for PCA algorithms, computational neuroscience, and the algebraic topology of learning.

研究动机与目标

• 为了解决尽管无正则化版本存在对称性，$L_2$-正则化LAE为何仍能恢复主方向。
• 利用线性代数与拓扑学刻画正则化LAE的临界点与损失景观。
• 建立正则化损失最小值与概率主成分分析中MAP估计之间的联系。
• 探讨对PCA算法、计算神经科学以及深度学习代数拓扑的启示。

提出的方法

• 分析带与不带$L_2$-正则化的LAE的标量与矩阵情形，揭示对称性破缺。
• 利用奇异值分解（SVD）证明在临界点处，解码器的左奇异向量对应于主方向。
• 证明在正则化损失$\mathcal{L}_\sigma$的所有临界点处，编码器与解码器互为转置。
• 将损失景观建模为实数$m$维空间中$k$维子空间的Grassmannian$\mathrm{Gr}_k(\mathbb{R}^m)$上的函数，证明其为具有Schubert单元分解的完美Morse函数。
• 应用Morse理论与Morse同调，表明梯度流在可缩链复形中几何上抵消了临界点。
• 通过证明全局最小值在高斯先验下对应于MAP估计，将正则化LAE与概率主成分分析联系起来。

实验结果

研究问题

• RQ1 如何通过$L_2$-正则化打破无正则化LAE的$\mathrm{GL}_k(\mathbb{R})$对称性，从而实现主方向的恢复？
• RQ2 在$L_2$-正则化LAE中，临界点与损失景观的几何与代数结构是什么？
• RQ3 在$L_2$正则化下，临界点处编码器与解码器的关系如何？
• RQ4 正则化LAE损失的最小值在多大程度上对应于概率主成分分析中的MAP估计？
• RQ5 正则化LAE的损失景观如何与Morse理论及Grassmannian流形的拓扑相关联？

主要发现

• 正则化LAE损失$L_\sigma$在正交群$\mathrm{O}_k(\mathbb{R})$下对称，该群保持SVD结构。
• 在$L_\sigma$的所有临界点处，编码器与解码器互为转置。
• 数据的主方向作为解码器矩阵的左奇异向量被学习到。
• $L_\sigma$的全局最小值恰好对应于概率主成分分析中的MAP估计。
• 在Grassmannian$\mathrm{Gr}_k(\mathbb{R}^m)$上的损失景观是一个完美Morse函数，其临界点由Schubert单元索引。
• 损失函数的Morse同调实现了与实Grassmannian经典CW结构相同的链复形，证实了拓扑一致性。