[论文解读] Implicit Regularization in Deep Matrix Factorization

Sanjeev Arora, Nadav Cohen+2 more|arXiv (Cornell University)|May 31, 2019

Sparse and Compressive Sensing Techniques参考文献 51被引用 68

一句话总结

本文分析深线性矩阵分解在矩阵补全和感知中的梯度下降，结果显示深度加强了隐式的低秩偏好，比核范数解释更强，并且简单的范数表征可能不足。

ABSTRACT

Efforts to understand the generalization mystery in deep learning have led to the belief that gradient-based optimization induces a form of implicit regularization, a bias towards models of low "complexity." We study the implicit regularization of gradient descent over deep linear neural networks for matrix completion and sensing, a model referred to as deep matrix factorization. Our first finding, supported by theory and experiments, is that adding depth to a matrix factorization enhances an implicit tendency towards low-rank solutions, oftentimes leading to more accurate recovery. Secondly, we present theoretical and empirical arguments questioning a nascent view by which implicit regularization in matrix factorization can be captured using simple mathematical norms. Our results point to the possibility that the language of standard regularizers may not be rich enough to fully encompass the implicit regularization brought forth by gradient-based optimization.

研究动机与目标

• 激发在深线性网络中研究隐式正则化，用于矩阵补全与感知。
• 评估深度分解的隐式偏置是否能够被核范数或 Schatten 范数等标准范数所描述。
• 理论上推广并检验关于核范数最小化作为跨深度隐式正则化器的猜想。
• 表征在梯度流下学习得到的乘积矩阵的奇异值和特征向量的动态。
• 提供实验证据，对比深度效应与基于范数的预测。

提出的方法

• 在深度为 N、初始权重接近零的情况下研究深度矩阵分解的梯度流。
• 将先前将梯度流与核范数最小化联系起来的分析从深度为 2 扩展到任意深度。
• 推导并使用乘积矩阵 W(t) 的奇异值分解，并在梯度动力学下分析其演化。
• 推导奇异值演化的微分方程：dot{sigma}_r(t) = -N*(sigma_r^2(t))^{1-1/N} * <∇ℓ(W(t)), u_r(t)v_r^T(t)>, 表示深度调制的动态。
• 通过对 U(t) 和 V(t) 的耦合微分方程分析奇异向量，并给出使它们与梯度的奇异向量对齐的条件。
• 在矩阵补全与矩阵感知上进行实验，将深度为 2、3 等与核范数基线和真值进行对比。

实验结果

研究问题

• RQ1 深度矩阵分解上的梯度下降是否展现出比深度为 2 的分解更强的隐式正则化？
• RQ2 深度因子分解中的隐式正则化是否能被核范数或 Schatten 准范数等标准范数完全描述？
• RQ3 深度 N 如何影响训练过程中奇异值/向量的演化？
• RQ4 实验结果是否支持或挑战猜想1（核范数最小化作为隐式正则化器）在不同深度下的成立？
• RQ5 该动态对深线性模型泛化的实际意义是什么？

主要发现

• 深度增强了在矩阵补全与感知中对低秩解的隐式倾向。
• 核范数最小化不能完全捕捉深度因子分解的隐式正则化；Schatten p-范数并不能始终描述它。
• 在梯度流下奇异值的演化对较大值加速、对较小值减速，深度增加时效果更明显。
• 当它们处于平衡时，学习得到的乘积的奇异向量与梯度的奇异向量对齐，表明梯度方向与分解动力学之间存在耦合。
• 实验表明在数据稀缺情形下更深的因子分解表现更好，而在观测充分时，所有深度都收敛到真实解。