[论文解读] Analysis of feature learning in weight-tied autoencoders via the mean field lens

Phan-Minh Nguyen|arXiv (Cornell University)|Feb 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 7

一句话总结

本文通过平均场框架分析了两层权重重叠自编码器中的特征学习，表明在足够多神经元下，随机梯度下降会诱导出一种极限动力学，揭示了对应于主子空间的非线性收缩的显著学习阶段。其主要贡献在于提出了一项新颖的技术论证，证明在数据维度上采用多项式缩放而非指数缩放时也能实现收敛，从而实现了对高维设置下特征提取的严格分析。

ABSTRACT

Autoencoders are among the earliest introduced nonlinear models for unsupervised learning. Although they are widely adopted beyond research, it has been a longstanding open problem to understand mathematically the feature extraction mechanism that trained nonlinear autoencoders provide. In this work, we make progress in this problem by analyzing a class of two-layer weight-tied nonlinear autoencoders in the mean field framework. Upon a suitable scaling, in the regime of a large number of neurons, the models trained with stochastic gradient descent are shown to admit a mean field limiting dynamics. This limiting description reveals an asymptotically precise picture of feature learning by these models: their training dynamics exhibit different phases that correspond to the learning of different principal subspaces of the data, with varying degrees of nonlinear shrinkage dependent on the $\ell_{2}$-regularization and stopping time. While we prove these results under an idealized assumption of (correlated) Gaussian data, experiments on real-life data demonstrate an interesting match with the theory. The autoencoder setup of interests poses a nontrivial mathematical challenge to proving these results. In this setup, the "Lipschitz" constants of the models grow with the data dimension $d$. Consequently an adaptation of previous analyses requires a number of neurons $N$ that is at least exponential in $d$. Our main technical contribution is a new argument which proves that the required $N$ is only polynomial in $d$. We conjecture that $N\gg d$ is sufficient and that $N$ is necessarily larger than a data-dependent intrinsic dimension, a behavior that is fundamentally different from previously studied setups.

研究动机与目标

• 为了从数学上理解训练后的非线性自编码器中的特征提取机制，这是无监督学习中长期存在的开放问题。
• 为了在大宽度假设下分析权重重叠的两层自编码器在平均场极限下的行为。
• 为了解决高维数据中利普希茨常数增长的挑战，证明采用多项式而非指数神经元缩放时仍可实现收敛。
• 为了建立特征学习阶段及其与正则化和停止时间依赖关系的精确渐近图像。
• 通过在真实世界数据上的实验验证理论预测，表明其与平均场模型高度一致。

提出的方法

• 在大宽度范围内，为通过随机梯度下降训练的权重重叠自编码器构建平均场极限动力学。
• 应用一项新颖的技术论证，控制高维数据下利普希茨常数的增长，从而在神经元采用多项式缩放时实现收敛。
• 利用平均场视角，将特征表示的演化描述为学习过程中通过不同阶段的进程。
• 在（相关）高斯数据假设下分析动力学，推导出特征子空间的渐近行为。
• 引入一种缩放范式，其中神经元数量 $N$ 在数据维度 $d$ 上呈多项式增长，而非指数增长。
• 推导出学习特征中非线性收缩程度作为 $\ell_2$-正则化和训练时间的函数。

实验结果

研究问题

• RQ1 在大宽度缩放下，权重重叠自编码器的训练动力学在平均场极限下如何演化？
• RQ2 $\ell_2$-正则化和停止时间在塑造学习特征的非线性收缩中起什么作用？
• RQ3 为何标准平均场分析在高维数据的权重重叠自编码器中会失效，以及如何克服这一问题？
• RQ4 是否可以将收敛所需的神经元数量从数据维度 $d$ 的指数级减少到多项式级？
• RQ5 理论预测在高斯数据上的结果与真实世界数据集上的实际行为在多大程度上一致？

主要发现

• 权重重叠自编码器的平均场极限动力学揭示了对应于数据主子空间按顺序学习的显著学习阶段。
• 学习特征中非线性收缩的程度由 $\ell_2$-正则化与训练停止时间的相互作用决定。
• 提出了一项新颖的技术论证，证明所需神经元数量 $N$ 在数据维度 $d$ 上呈多项式增长，而非先前分析中的指数增长。
• 理论框架预测 $N \gg d$ 已足够，且 $N$ 必须超过一个与数据相关的内在维度，这一行为与先前设置显著不同。
• 在真实数据上的实验表明，理论预测与实际行为在定性和定量上均高度一致，验证了平均场模型的解释力。
• 该分析确立了特征学习通过分层的、基于相位的低维数据结构获取过程，且表示的非线性程度随学习逐步增加。