[论文解读] Gradient descent with nonconvex constraints: local concavity determines convergence

Rina Foygel Barber, Wooseok Ha|arXiv (Cornell University)|Mar 22, 2017

Sparse and Compressive Sensing Techniques参考文献 22被引用 7

一句话总结

本文引入局部强凹系数以表征非凸约束集偏离凸性的程度，从而实现对投影梯度下降法的收敛性分析。证明了这些系数在四种几何与最优性度量下等价，即使在近似投影下也能保证线性收敛，其应用涵盖低秩与稀疏估计。

ABSTRACT

Many problems in high-dimensional statistics and optimization involve minimization over nonconvex constraints-for instance, a rank constraint for a matrix estimation problem-but little is known about the theoretical properties of such optimization problems for a general nonconvex constraint set. In this paper we study the interplay between the geometric properties of the constraint set and the convergence behavior of gradient descent for minimization over this set. We develop the notion of local concavity coefficients of the constraint set, measuring the extent to which convexity is violated, which govern the behavior of projected gradient descent over this set. We demonstrate the versatility of these concavity coefficients by computing them for a range of problems in low-rank estimation, sparse estimation, and other examples. Through our understanding of the role of these geometric properties in optimization, we then provide a convergence analysis when projections are calculated only approximately, leading to a more efficient method for projected gradient descent in low-rank estimation problems.

研究动机与目标

• 理解投影梯度下降法在非凸约束集上收敛的几何条件。
• 建立一个统一框架，连接曲率、投影行为与非凸优化中的一阶最优性。
• 通过允许近似投影来实现计算高效的优化，同时保持收敛性保证。
• 将该理论应用于低秩矩阵估计和使用非凸正则化项（如SCAD或ℓq）的稀疏恢复等实际问题。

提出的方法

• 引入局部强凹系数 γx(C)，作为相对于结构化范数（如ℓ1或核范数）的非凸性度量。
• 建立四种非凸性表征的等价性：凸组合、一阶条件、投影行为与曲率。
• 在受限强凸性与强光滑性条件下，分析带有近似投影的投影梯度下降法。
• 针对低秩估计，提出一种高效的近似投影方法：以精确投影初始化，随后切换至因子化更新。
• 利用对偶范数结构定义约束集的范数几何及其与梯度步长的相互作用。
• 通过实验验证该方法在低秩矩阵恢复中的性能，结果表明一次精确投影步骤即可实现后续高效更新。

实验结果

研究问题

• RQ1 非凸约束集的几何特性如何影响投影梯度下降法的收敛性？
• RQ2 局部强凹系数能否统一优化中不同形式的非凸性概念？
• RQ3 在何种条件下，使用不精确投影的投影梯度下降法仍能实现线性收敛？
• RQ4 带有非凸正则化项（如SCAD或ℓq）的约束优化与惩罚优化相比有何差异？
• RQ5 是否可以在不损失收敛性的前提下降低精确投影的计算成本？

主要发现

• 局部强凹系数 γx(C) 在四种不同的非凸性表征中等价，提供了一个统一的几何度量。
• 若初始化于局部强凹系数有界的邻域内，带有近似投影的投影梯度下降法可线性收敛至全局最小值。
• 对于低秩估计，一次精确投影后采用因子化梯度下降法，其性能可与完整投影梯度下降法相媲美。
• 损失函数衰减迅速，投影梯度下降法初始收敛最陡峭，而近似法与因子化方法迅速追上。
• 实验结果表明，一次初始精确投影即可使后续的近似或因子化方法达到与完整投影梯度下降法相当的性能。
• 该框架可广泛适用于各类非凸约束，包括低秩矩阵、稀疏向量及其他具有非凸几何结构的集合。