[论文解读] Gradient descent aligns the layers of deep linear networks

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques参考文献 12被引用 22

一句话总结

该论文表明，在线性可分数据上，深度线性网络的梯度下降与梯度流会导致风险收敛至零，并通过层对齐实现隐式正则化：每个权重矩阵渐近变为秩-1，相邻层在方向上对齐，最终使网络的整体线性预测器收敛至最大间隔解。这种对齐现象被证明可自然地从优化动力学中产生，无需额外假设。

ABSTRACT

This paper establishes risk convergence and asymptotic weight matrix alignment --- a form of implicit regularization --- of gradient flow and gradient descent when applied to deep linear networks on linearly separable data. In more detail, for gradient flow applied to strictly decreasing loss functions (with similar results for gradient descent with particular decreasing step sizes): (i) the risk converges to 0; (ii) the normalized i-th weight matrix asymptotically equals its rank-1 approximation $u_iv_i^{ op}$; (iii) these rank-1 matrices are aligned across layers, meaning $|v_{i+1}^{ op}u_i| o1$. In the case of the logistic loss (binary cross entropy), more can be said: the linear function induced by the network --- the product of its weight matrices --- converges to the same direction as the maximum margin solution. This last property was identified in prior work, but only under assumptions on gradient descent which here are implied by the alignment phenomenon.

研究动机与目标

• 理解在训练线性可分数据时，深度线性网络中梯度下降的隐式偏差。
• 在梯度流和步长递减的梯度下降下，建立风险收敛至零的结论。
• 证明权重矩阵渐近变为秩-1，并在层间对齐，暗示隐式正则化。
• 证明在逻辑斯谛损失下，最终网络预测器收敛至最大间隔解。
• 统一深度线性网络优化动力学中的风险最小化与结构对齐。

提出的方法

• 分析严格递减损失函数上的梯度流，证明风险收敛至零，并证明每个权重矩阵的渐近秩-1逼近。
• 使用Frobenius范数归一化，表明每个权重矩阵的谱范数与Frobenius范数之比趋于1，表明其具有秩-1结构。
• 通过内积 |v_{i+1}^T u_i| → 1 证明层间对齐，其中 u_i 和 v_{i+1} 分别为相邻层的主奇异向量。
• 证明在逻辑斯谛损失下，权重矩阵的乘积在方向上收敛至最大间隔解，与数据的最优分隔器对齐。
• 对梯度流采用微分方程分析，对梯度下降采用离散递推关系，通过范数与投影动力学控制正交分量。
• 使用对最大间隔方向张成空间的正交投影，追踪权重矩阵向最优子空间的收敛过程。

实验结果

研究问题

• RQ1 在深度线性网络中，对线性可分数据进行梯度下降是否会导致风险收敛至零？
• RQ2 在梯度下降下，深度线性网络中的单个权重矩阵是否渐近变为秩-1？
• RQ3 在优化过程中，相邻层的主奇异向量之间是否存在对齐？
• RQ4 在逻辑斯谛损失下，最终网络预测器是否收敛至最大间隔解？
• RQ5 梯度下降的隐式正则化是否可通过层的结构对齐来解释，而无需显式正则化？

主要发现

• 在严格递减损失函数上，梯度流和步长递减的梯度下降均导致风险收敛至零。
• 每个归一化权重矩阵 Wi / ||Wi||_F 逐渐等于其秩-1逼近 ui vi^T，意味着 ||Wi||_2 / ||Wi||_F → 1。
• 相邻的秩-1逼近实现对齐：|v_{i+1}^T ui| → 1，表明方向上的一致性。
• 在逻辑斯谛损失下，最终线性预测器 w_prod = WL...W1 在方向上收敛至最大间隔解 ū。
• 第一层右奇异向量 v1 收敛至最大间隔方向 ū，整个网络随之与之对齐。
• 该对齐现象解释了梯度下降的隐式正则化，因为正交分量被抑制，且范数不会浪费在非活跃方向上。