[论文解读] A type of generalization error induced by initialization in deep neural networks

Yaoyu Zhang, Zhi‐Qin John Xu+2 more|arXiv (Cornell University)|May 19, 2019

Model Reduction and Neural Networks参考文献 34被引用 14

一句话总结

本文识别出深度神经网络（DNNs）中由非零随机初始化引起的泛化误差，表明在神经正切核（NTK）框架下，DNNs 会收敛到参数空间中距离初始权重最近的全局最小值——当初始化非零时，这会导致误差增加。作者提出反称初始化（ASI）以消除该误差并加速训练，理论与实证验证均涵盖 NTK 与非 NTK 框架。

ABSTRACT

How initialization and loss function affect the learning of a deep neural network (DNN), specifically its generalization error, is an important problem in practice. In this work, by exploiting the linearity of DNN training dynamics in the NTK regime \citep{jacot2018neural,lee2019wide}, we provide an explicit and quantitative answer to this problem. Focusing on regression problem, we prove that, in the NTK regime, for any loss in a general class of functions, the DNN finds the same \emph{global} minima---the one that is nearest to the initial value in the parameter space, or equivalently, the one that is closest to the initial DNN output in the corresponding reproducing kernel Hilbert space. Using these optimization problems, we quantify the impact of initial output and prove that a random non-zero one increases the generalization error. We further propose an antisymmetrical initialization (ASI) trick that eliminates this type of error and accelerates the training. To understand whether the above results hold in general, we also perform experiments for DNNs in the non-NTK regime, which demonstrate the effectiveness of our theoretical results and the ASI trick in a qualitative sense. Overall, our work serves as a baseline for the further investigation of the impact of initialization and loss function on the generalization of DNNs, which can potentially guide and improve the training of DNNs in practice.

研究动机与目标

• 理解初始化与损失函数如何影响深度神经网络中的泛化误差。
• 量化非零初始化在 NTK 框架下对泛化误差的影响。
• 开发一种可减少此类初始化引发误差并提升训练效率的方法。
• 通过实证实验验证理论发现是否可推广至非 NTK 框架。

提出的方法

• 在 NTK 框架下进行理论分析，利用 DNN 训练动力学的线性特性。
• 作者证明 DNNs 会收敛到参数空间中距离初始权重最近的全局最小值，等价于再生核希尔伯特空间中初始输出最近的点。
• 考虑一类广义损失函数，表明优化路径与具体损失函数无关，只要其属于该类。
• 量化初始输出对泛化误差的影响，揭示非零初始化会增加误差。
• 提出反称初始化（ASI）技巧，通过确保初始化关于零对称，从而消除初始化引起的误差。
• 在 NTK 与非 NTK 框架下均进行实验，以检验理论发现与 ASI 的鲁棒性与有效性。

实验结果

研究问题

• RQ1 在 NTK 框架下，非零随机初始化如何影响 DNN 的泛化误差？
• RQ2 尽管收敛到全局最小值，为何不同初始化会导致不同的泛化误差？
• RQ3 能否系统性地减少或消除由初始化引起的泛化误差？
• RQ4 在 NTK 框架下观察到的理论行为是否可推广至实际的非 NTK DNN？
• RQ5 所提出的反称初始化（ASI）在减少初始化引起的误差及加速训练方面效果如何？

主要发现

• 在 NTK 框架下，使用广义损失类中任意损失训练的 DNNs 均会收敛到参数空间中距离初始权重最近的全局最小值。
• 该收敛点对应于再生核希尔伯特空间中初始 DNN 输出最近的点，该点量化了由初始化引起的泛化误差。
• 非零随机初始化会增加泛化误差，因为最优解在函数空间中偏离了原点。
• 所提出的反称初始化（ASI）通过确保初始输出为零，从而消除该误差，使解与函数空间中的原点对齐。
• 非 NTK 框架下的实验表明，理论洞见与 ASI 技巧仍具有定性有效性，暗示其更广泛的应用潜力。
• 研究结果为理解初始化与损失函数在 DNN 泛化中的作用提供了基准，对训练稳定性与性能具有实际意义。