[论文解读] The dynamics of representation learning in shallow, non-linear autoencoders

Maria Refinetti, Sebastian Goldt|arXiv (Cornell University)|Jan 6, 2022

Model Reduction and Neural Networks被引用 8

一句话总结

本文在高维极限下，推导出使用随机梯度下降（SGD）训练的浅层非线性自编码器的渐近精确动力学方程。结果表明，此类自编码器按顺序学习输入数据的主成分，其性能由权重范数和激活函数特性决定——揭示了权重共享会阻碍Sigmoid自编码器的学习，而偏差训练在ReLU自编码器中至关重要，同时改进的SGD可实现主成分的精确恢复。

ABSTRACT

Autoencoders are the simplest neural network for unsupervised learning, and thus an ideal framework for studying feature learning. While a detailed understanding of the dynamics of linear autoencoders has recently been obtained, the study of non-linear autoencoders has been hindered by the technical difficulty of handling training data with non-trivial correlations - a fundamental prerequisite for feature extraction. Here, we study the dynamics of feature learning in non-linear, shallow autoencoders. We derive a set of asymptotically exact equations that describe the generalisation dynamics of autoencoders trained with stochastic gradient descent (SGD) in the limit of high-dimensional inputs. These equations reveal that autoencoders learn the leading principal components of their inputs sequentially. An analysis of the long-time dynamics explains the failure of sigmoidal autoencoders to learn with tied weights, and highlights the importance of training the bias in ReLU autoencoders. Building on previous results for linear networks, we analyse a modification of the vanilla SGD algorithm which allows learning of the exact principal components. Finally, we show that our equations accurately describe the generalisation dynamics of non-linear autoencoders on realistic datasets such as CIFAR10.

研究动机与目标

• 理解在具有非平凡相关性的数据上，使用SGD训练的非线性浅层自编码器的泛化动力学。
• 确定此类自编码器是否以及在何种条件下可实现最优PCA重构误差。
• 分析权重共享、偏差训练和激活函数非线性在表征学习中的作用。
• 建立一个在高维极限下有效的理论框架，以捕捉真实训练动力学。
• 与高斯普遍性建立联系，并在CIFAR10等真实数据集上验证模型。

提出的方法

• 在热力学极限（D → ∞，K有限）下，推导出编码器和解码器权重缩放常数的渐近精确常微分方程（ODEs）。
• 使用统计力学技术计算网络权重与输入数据主成分之间的重叠，假设输入数据为具有已知协方差结构的独立同分布（i.i.d.）数据。
• 应用复制法与洞方法分析随时间演化的总体均方误差（pmse）和权重范数的动力学。
• 提出一种改进的SGD规则，打破旋转对称性，从而实现主成分的精确恢复。
• 将解析方程与合成数据及真实世界数据（如CIFAR10）的模拟结果进行对比，显示出高度一致。
• 在高斯假设下，推导出涉及Sigmoid、ReLU和线性激活函数的期望值的显式解析表达式。

实验结果

研究问题

• RQ1 在输入数据具有相关性的情况下，使用SGD训练的非线性自编码器如何学习特征？
• RQ2 非线性自编码器能否实现最优PCA重构误差？若能，其条件是什么？
• RQ3 为何具有权重共享的Sigmoid自编码器无法学习主成分？这与无共享或ReLU模型有何不同？
• RQ4 偏差在ReLU自编码器学习动力学中起什么作用？
• RQ5 为高维i.i.d.数据推导出的理论框架是否能准确描述在CIFAR10等真实数据集上的训练过程？

主要发现

• 自编码器按顺序学习输入数据的主成分，总体均方误差（pmse）先呈指数衰减，后呈幂律衰减。
• 网络首先恢复主成分所张成的子空间，随后通过调整权重范数来最小化重构误差。
• 具有权重共享的Sigmoid自编码器无法学习主成分，因为训练过程中的权重收缩破坏了精确恢复所必需的线性区域。
• 对ReLU自编码器而言，训练偏差至关重要，因为它能实现非线性激活的正确缩放。
• 一种打破旋转对称性的改进SGD规则可使网络收敛至精确主成分，从而绕过标准SGD的隐式偏差。
• 推导出的动力学方程能准确描述在CIFAR10上训练的非线性自编码器的泛化动力学，证实了浅层网络中高斯普遍性的现象。