[论文解读] Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced

Simon S. Du, Wei Hu+1 more|arXiv (Cornell University)|Jun 4, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用 22

一句话总结

该论文表明，在深度同质模型（如ReLU网络和低秩矩阵分解）中，梯度流通过保持层间平方范数差值不变，即使没有显式正则化，也能隐式平衡层范数。论文证明，当步长递减时，梯度下降收敛至有界全局最优解；对于秩-1分解，恒定步长可实现线性收敛至全局最小值。

ABSTRACT

We study the implicit regularization imposed by gradient descent for learning multi-layer homogeneous functions including feed-forward fully connected and convolutional deep neural networks with linear, ReLU or Leaky ReLU activation. We rigorously prove that gradient flow (i.e. gradient descent with infinitesimal step size) effectively enforces the differences between squared norms across different layers to remain invariant without any explicit regularization. This result implies that if the weights are initially small, gradient flow automatically balances the magnitudes of all layers. Using a discretization argument, we analyze gradient descent with positive step size for the non-convex low-rank asymmetric matrix factorization problem without any regularization. Inspired by our findings for gradient flow, we prove that gradient descent with step sizes $η_t = O\left(t^{-\left( \frac12+δ ight)} ight)$ ($0

研究动机与目标

• 理解梯度下降在ReLU网络和矩阵分解等深度同质模型中的隐式正则化效应。
• 解决非凸、同质优化中迭代序列无界的问题，该问题阻碍了收敛性分析。
• 证明梯度下降在步长递减时能自动平衡层幅值，并收敛至有界全局解。
• 证明在秩-1非对称矩阵分解中，使用恒定步长时梯度下降可实现线性收敛。
• 确立梯度流下范数差值不变性是深度学习优化中的基本机制。

提出的方法

• 分析梯度流（无穷小步长），证明层间平方范数差值保持不变。
• 采用离散化论证，将梯度流结果推广至步长为 $\eta_t = O(t^{-(1/2 + \delta)})$ 的梯度下降，其中 $0 < \delta \leq 1/2$。
• 引入类似李雅普诺夫的函数，以追踪范数差值的演化及与最优性的偏差。
• 通过将权重矩阵分解为对齐与正交分量，分析收敛动力学。
• 证明层范数比值在所提出的步长调度下保持有界并收敛。
• 针对秩-1分解，通过分析恒定步长下目标函数间隙的衰减，推导出线性收敛速率。

实验结果

研究问题

• RQ1 在同质深度模型中，梯度下降是否在无显式正则化下隐式平衡层范数？
• RQ2 在非凸、低秩矩阵分解中，梯度下降使用递减步长是否能收敛至有界全局最优解？
• RQ3 范数不变性在深度学习一阶方法收敛中起何作用？
• RQ4 步长选择如何影响层范数的平衡与收敛速率？
• RQ5 在秩-1非对称矩阵分解中，恒定步长梯度下降能否实现线性收敛？

主要发现

• 梯度流保持层间平方范数差值不变，表明在小权重初始化下，层幅值会自动平衡。
• 在非凸低秩非对称矩阵分解中，梯度下降使用 $\eta_t = O(t^{-(1/2 + \delta)})$ 可收敛至有界全局最优解。
• 使用恒定步长时，梯度下降在秩-1非对称矩阵分解中以全局线性速率收敛至全局最小值。
• 梯度下降的隐式正则化可防止迭代序列无界，确保即使无显式约束也能收敛。
• 分析表明，范数差值的不变性是同质模型中实现收敛的关键机制。