[论文解读] Implicit Regularization in Matrix Sensing: A Geometric View Leads to Stronger Results.

Armin Eftekhari, Konstantinos C. Zygalakis|arXiv (Cornell University)|Aug 27, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文表明，矩阵感知中对可行性间隙的梯度流会隐式正则化为低秩解，而无需显式惩罚项，在靠近可行低秩流形初始化时可实现精确恢复。通过几何视角，其建立的收敛保证强于以往工作，表明在温和条件下，梯度流会隐式偏向真实低秩矩阵。

ABSTRACT

We may think of low-rank matrix sensing as a learning problem with infinitely many possible outcomes where the desired learning outcome is the unique low-rank matrix that agrees with the available data. To find this desired low-rank matrix, for example, nuclear norm explicitly biases the learning outcome towards being low-rank. In contrast, we establish here that simple gradient flow of the feasibility gap is implicitly biased towards low-rank outcomes and successfully solves the matrix sensing problem, provided that the initialization is low-rank and sufficiently close to the manifold of feasible outcomes. Compared to the state of the art, the geometric perspective adopted here leads to substantially stronger results.

研究动机与目标

• 理解梯度流在低秩矩阵感知中超越显式核范数惩罚的隐式正则化效应。
• 通过优化动力学的几何分析，建立矩阵感知更强的理论收敛结果。
• 证明当初始化靠近可行流形时，可行性间隙上的梯度流可恢复真实低秩矩阵。
• 提供一种几何框架，其收敛条件比现有方法更紧致、更具普遍性。

提出的方法

• 分析可行性间隙函数上的梯度流动力学，该函数衡量与观测数据约束的偏离程度。
• 聚焦于低秩可行流形邻域内的初始化，以确保收敛至真实解。
• 使用几何论证刻画梯度流轨迹及其对低秩解的吸引性。
• 证明梯度流的隐式偏差在无显式正则化下也倾向于低秩结构。
• 通过流形邻近性，在温和初始化条件下建立收敛至唯一低秩解的结果。

实验结果

研究问题

• RQ1 可行性间隙上的梯度流是否在矩阵感知中隐式偏向低秩解？
• RQ2 通过梯度流的隐式正则化能否在无显式核范数惩罚下实现精确恢复？
• RQ3 可行流形的几何结构如何影响梯度流的收敛性？
• RQ4 何种初始化条件可确保梯度流收敛至真实低秩矩阵？
• RQ5 该方法的理论保证与显式正则化方法相比如何？

主要发现

• 可行性间隙上的梯度流隐式正则化为低秩解，在靠近可行低秩流形初始化时可实现精确恢复。
• 该方法无需显式正则化，仅依赖于优化路径的几何特性。
• 理论保证强于以往最先进结果，仅需对可行流形的邻近性，而无需强假设。
• 梯度流的隐式偏差足以收敛至满足数据约束的唯一低秩解。
• 几何视角使收敛分析比以往方法更紧致、更具普遍性。