[论文解读] Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank

Hung-Hsu Chou, Carsten Gieshoff+2 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用 2

一句话总结

本文分析了深度矩阵分解中梯度下降的动力学，表明即使没有显式正则化，梯度下降也会隐式地将解偏向低秩结构。通过严格识别迭代过程在特定时间段内近似于真实矩阵的最佳低秩逼近，该研究为深度学习中的隐式偏差提供了关于有效秩动态的理论洞见。

ABSTRACT

In deep learning, it is common to use more network parameters than training points. In such scenarioof over-parameterization, there are usually multiple networks that achieve zero training error so that thetraining algorithm induces an implicit bias on the computed solution. In practice, (stochastic) gradientdescent tends to prefer solutions which generalize well, which provides a possible explanation of thesuccess of deep learning. In this paper we analyze the dynamics of gradient descent in the simplifiedsetting of linear networks and of an estimation problem. Although we are not in an overparameterizedscenario, our analysis nevertheless provides insights into the phenomenon of implicit bias. In fact, wederive a rigorous analysis of the dynamics of vanilla gradient descent, and characterize the dynamicalconvergence of the spectrum. We are able to accurately locate time intervals where the effective rankof the iterates is close to the effective rank of a low-rank projection of the ground-truth matrix. Inpractice, those intervals can be used as criteria for early stopping if a certain regularity is desired. Wealso provide empirical evidence for implicit bias in more general scenarios, such as matrix sensing andrandom initialization. This suggests that deep learning prefers trajectories whose complexity (measuredin terms of effective rank) is monotonically increasing, which we believe is a fundamental concept for thetheoretical understanding of deep learning.

研究动机与目标

• 理解深度矩阵分解中梯度下降的隐式偏差，特别是其在无显式正则化下仍倾向于选择低秩解的特性。
• 刻画线性网络中梯度下降过程中迭代值谱的动力学演化。
• 精确定位迭代值有效秩与真实矩阵最佳低秩逼近有效秩一致的时间区间。
• 为过参数化设置中通过早停实现低复杂度解提供理论依据。
• 将结构化初始化的洞察推广至更一般的情形，包括随机初始化和矩阵感知。

提出的方法

• 分析在目标矩阵被分解为 N 个矩阵的矩阵分解问题上的标准梯度下降，初始化为 αI（α > 0 且较小）。
• 使用连续时间梯度流研究乘积矩阵的奇异值和特征值随时间的动力学。
• 推导出迭代值有效秩收敛至真实矩阵最佳秩-L 逼近有效秩的明确时间区间。
• 运用谱分析和扰动理论追踪奇异值的演化及其向主导分量的收敛。
• 在 MNIST 上通过不同分解深度（N = 1 至 4）进行实证验证，可视化奇异值动态和矩阵重构。
• 将分析扩展至随机初始化（i.i.d. 高斯分布），并比较不同初始化方差下的收敛性与隐式偏差行为。

实验结果

研究问题

• RQ1 在无显式正则化的情况下，深度矩阵分解中的梯度下降是否仍表现出对低秩解的隐式偏好？
• RQ2 我们能否在优化过程中解析识别出迭代值有效秩与真实矩阵最佳低秩逼近有效秩一致的时间区间？
• RQ3 分解深度（N）在多大程度上影响奇异值的收敛动力学及低秩结构的出现？
• RQ4 随机初始化在多大程度上保留了对低有效秩的隐式偏好？初始化方差如何影响该行为？
• RQ5 该理论框架能否推广至欠定情形，如部分观测下的低秩矩阵感知？

主要发现

• 在深度矩阵分解中，梯度下降的动力学导致迭代值的有效秩单调递增，并在特定时间段内紧密匹配真实矩阵最佳低秩逼近的有效秩。
• 当 N ≥ 2 时，奇异值的收敛更加尖锐，从而产生更清晰的动态行为，并更明确地识别出低秩区间。
• 在 MNIST 上的实证结果表明，更深的分解（N = 3）比浅层分解（N = 1 或 2）更早实现更清晰的低秩结构（例如，k ∈ [1000, 2000]）。
• 当初始化方差较小时（α = 0.1），对低秩结构的隐式偏好表现得非常清晰；而当方差较大时（α = 1），特征值近似顺序被打乱，导致偏好减弱。
• 目标矩阵 cW 的最佳秩一和秩二逼近是强有力的基准，梯度下降迭代值在 Frobenius 范数下趋近于这些逼近，证实了对低秩结构的偏好。
• 分析表明，在有效秩收敛较高的时间段进行早停，可获得低复杂度解，为深度学习中的正则化提供实用准则。