[论文解读] Implicit Regularization for Optimal Sparse Recovery

Tomas Vaškevičius, Varun Kanade+1 more|arXiv (Cornell University)|Sep 11, 2019

Sparse and Compressive Sensing Techniques被引用 26

一句话总结

该论文提出了一种基于梯度下降的稀疏线性回归算法，通过精心设计的初始化、步长和早停策略，利用隐式正则化，从欠定测量中实现了稀疏信号的极小极大最优恢复。该方法在计算成本与读取数据相当的情况下达到了最优的统计速率，并能自适应信号噪声比，在信号足够强时实现与维度无关的误差。

ABSTRACT

We investigate implicit regularization schemes for gradient descent methods applied to unpenalized least squares regression to solve the problem of reconstructing a sparse signal from an underdetermined system of linear measurements under the restricted isometry assumption. For a given parametrization yielding a non-convex optimization problem, we show that prescribed choices of initialization, step size and stopping time yield a statistically and computationally optimal algorithm that achieves the minimax rate with the same cost required to read the data up to poly-logarithmic factors. Beyond minimax optimality, we show that our algorithm adapts to instance difficulty and yields a dimension-independent rate when the signal-to-noise ratio is high enough. Key to the computational efficiency of our method is an increasing step size scheme that adapts to refined estimates of the true solution. We validate our findings with numerical experiments and compare our algorithm against explicit $\ell_{1}$ penalization. Going from hard instances to easy ones, our algorithm is seen to undergo a phase transition, eventually matching least squares with an oracle knowledge of the true support.

研究动机与目标

• 开发一种在统计和计算上均最优的稀疏线性回归算法，无需显式正则化。
• 证明通过初始化、步长和停止时间实现的隐式正则化可在受限等距性（RIP）条件下实现极小极大最优恢复。
• 展示该方法能自适应实例难度，在信号相对于噪声较强时实现更优的收敛速率。
• 验证该算法在简单实例上与已知真实支持的最小二乘法性能相当。
• 提供收敛性和误差率的理论保证，且这些保证显式依赖于信号强度和噪声水平。

提出的方法

• 将权重向量参数化为 $\mathbf{w} = \mathbf{u} \odot \mathbf{u} - \mathbf{v} \odot \mathbf{v}$，以实现非凸优化并诱导隐式稀疏性。
• 对无正则化的最小二乘目标函数 $\|\mathbf{X}\mathbf{w} - \mathbf{y}\|_2^2$ 应用梯度下降，采用非凸参数化。
• 使用随真实解估计精度提升而递增的步长，以改善收敛性和稀疏性。
• 通过设置 $\mathbf{u}_0$ 和 $\mathbf{v}_0$ 初始值为小常数 $\alpha$，促进稀疏的迭代解。
• 基于防止过拟合并确保高于噪声水平信号恢复的准则，提前停止算法。
• 分析信号序列 $\mathbf{s}_t$ 和误差序列 $\mathbf{e}_t$，以追踪收敛性和误差衰减过程。

实验结果

研究问题

• RQ1 通过初始化、步长和停止时间实现的隐式正则化，能否在RIP条件下实现稀疏线性回归中的极小极大最优恢复？
• RQ2 所提出的算法是否能自适应实例难度，在信号相对于噪声较强时实现更优的收敛速率？
• RQ3 在不使用显式 $\ell_1$ 正则化的情况下，实现极小极大最优性的计算成本是多少？
• RQ4 与显式 $\ell_1$ 惩罚（如Lasso）相比，该算法在统计效率和计算效率方面表现如何？
• RQ5 当最小信号幅值超过噪声水平时，该方法能否实现与维度无关的误差率？

主要发现

• 在受限等距性假设下，该算法实现了 $\ell_2$ 误差 $\|\widehat{\mathbf{w}} - \mathbf{w}^\star\|_2^2$ 的极小极大最优速率 $k\sigma^2\log(d/k)/n$。
• 在简单实例上，该方法与已知真实支持的最小二乘法性能相当，表现出从困难恢复到简单恢复的相变行为。
• 当 $w^\star_{\min} \gtrsim \|\mathbf{X}^\top \boldsymbol{\xi}\|_\infty / n$ 时，该算法实现了与维度无关的误差率，表明其对信号强度的自适应能力。
• 总计算成本为 $\widetilde{O}(nd)$，与读取数据的成本在多对数因子范围内相当。
• 误差界显式依赖于 $w^\star_{\max}$，与以往工作假设 $w^\star_{\max} \lesssim 1$ 不同，使结果更具普适性。
• 该方法通过在误差界中引入 $\log k$ 因子的更紧界，优于先前工作，这归因于对RIP参数 $\delta$ 的更强假设。