[论文解读] Data-Dependence of Plateau Phenomenon in Learning with Neural Network --- Statistical Mechanical Analysis

Yuki Yoshida, Masato Okada|arXiv (Cornell University)|Jan 10, 2020

Neural Networks and Applications被引用 13

一句话总结

本文利用统计力学分析神经网络训练中的平台现象，表明其关键取决于输入数据协方差矩阵的特征值分布。研究发现，特征值小且分散的数据会抑制平台现象，解释了为何尽管理论预测存在，该现象在现代深度学习中仍极为罕见。

ABSTRACT

The plateau phenomenon, wherein the loss value stops decreasing during the process of learning, has been reported by various researchers. The phenomenon is actively inspected in the 1990s and found to be due to the fundamental hierarchical structure of neural network models. Then the phenomenon has been thought as inevitable. However, the phenomenon seldom occurs in the context of recent deep learning. There is a gap between theory and reality. In this paper, using statistical mechanical formulation, we clarified the relationship between the plateau phenomenon and the statistical property of the data learned. It is shown that the data whose covariance has small and dispersed eigenvalues tend to make the plateau phenomenon inconspicuous.

研究动机与目标

• 解决理论预测的平台现象与现代深度学习中其罕见观测之间的差异。
• 研究输入数据的统计特性如何影响两层神经网络的学习动态。
• 将先前的统计力学模型扩展至一般输入数据分布，超越独立同分布假设。
• 识别出减轻或加剧平台现象的具体数据特征。
• 基于输入协方差矩阵的特征值谱，提供平台动态的宏观解释。

提出的方法

• 在大输入维度假设下，构建基于两层感知器的学生-教师学习框架。
• 应用统计力学方法，将高维学习动态简化为仅依赖于序参量的低维系统。
• 推导出仅依赖于输入协方差矩阵特征值分布的学习动态宏观方程。
• 使用数值积分求解序参量系统，并分析泛化损失轨迹。
• 通过测量损失缓慢下降的持续时间与终端收敛速度的相对大小，量化平台长度与高度。
• 比较不同输入协方差结构（包括各向同性和各向异性情况）下的学习动态。

实验结果

研究问题

• RQ1 输入数据协方差的特征值分布如何影响神经网络训练中平台现象的出现？
• RQ2 尽管存在理论预测，为何平台现象在现代深度学习中极少被观测到？
• RQ3 输入数据尺度（即方差）在多大程度上影响平台长度与深度？
• RQ4 特征值分布的高阶矩（如方差或峰度）如何影响平台特性？
• RQ5 能否基于输入特征的统计特性，通过数据预处理来预测或控制平台现象？

主要发现

• 平台现象强烈受输入数据协方差矩阵特征值分布的影响，而不仅取决于网络架构。
• 当输入数据具有小且分散的特征值（低方差且分布分散）时，平台变短变浅，因而不明显。
• 随着输入方差（μ₁）减小，平台长度迅速增加，超过O(1/μ₁)的标度，表明非线性网络中存在非线性效应。
• 提高特征值的二阶矩（即拓宽分布）可缩短平台长度并降低平台高度，从而缓解该现象。
• 平台现象在MNIST数据集中并非不存在，但可能因数据集输入方差较低（μ₁ ≈ 0.112）而表现为长而浅的平台，解释了其在标准训练曲线中不可见的原因。
• 本模型推广了Saad和Solla（1995）以及Riegler和Biehl（1995）的先前工作，适用于非独立同分布的输入数据，表明学习动态仅取决于输入协方差的特征值谱。