[论文解读] Gradient methods for convex minimization: better rates under weaker conditions

Hui Zhang, Wotao Yin|arXiv (Cornell University)|Mar 19, 2013

Sparse and Compressive Sensing Techniques参考文献 10被引用 50

一句话总结

该论文通过放松标准假设，改进了凸优化中梯度方法的收敛速率：不再假设梯度的全局Lipschitz连续性或全局强凸性，而是仅要求这些性质在从迭代点到其梯度步长的特定线段上成立。在这一更弱的条件下，建立了普通梯度下降的复杂度界为$O(R/\theta)$，加速方法的复杂度界为$O(\sqrt{R/\theta})$，并在受限的充分条件假设下进一步改进。

ABSTRACT

The convergence behavior of gradient methods for minimizing convex differentiable functions is one of the core questions in convex optimization. This paper shows that their well-known complexities can be achieved under conditions weaker than the commonly accepted ones. We relax the common gradient Lipschitz-continuity condition and strong convexity condition to ones that hold only over certain line segments. Specifically, we establish complexities $O(\frac{R}ε)$ and $O(\sqrt{\frac{R}ε})$ for the ordinary and accelerate gradient methods, respectively, assuming that $ abla f$ is Lipschitz continuous with constant $R$ over the line segment joining $x$ and $x-\frac{1}{R} abla f$ for each $x\in\dom f$. Then we improve them to $O(\frac{R}ν\log(\frac{1}ε))$ and $O(\sqrt{\frac{R}ν}\log(\frac{1}ε))$ for function $f$ that also satisfies the secant inequality $\ < abla f(x), x- x^*\ > \ge ν\|x-x^*\|^2$ for each $x\in \dom f$ and its projection $x^*$ to the minimizer set of $f$. The secant condition is also shown to be necessary for the geometric decay of solution error. Not only are the relaxed conditions met by more functions, the restrictions give smaller $R$ and larger $ν$ than they are without the restrictions and thus lead to better complexity bounds. We apply these results to sparse optimization and demonstrate a faster algorithm.

研究动机与目标

• 通过弱化对梯度和Hessian矩阵的全局标准假设，改进凸优化中梯度方法的收敛速率保证。
• 证明此前仅在全局Lipschitz连续性和强凸性假设下成立的次线性和线性收敛速率，可在更弱的、局部化的条件下实现。
• 展示受限Lipschitz和充分条件可导致更小的常数$R$和更大的$\nu$，从而在复杂度界上优于全局假设。
• 提出一种新的分析框架，仅利用沿特定搜索方向的局部梯度行为，实现更紧致的收敛估计。
• 将结果应用于稀疏优化，通过重启和跳过技术展示性能提升。

提出的方法

• 引入受限Lipschitz连续性条件：梯度仅在连接$x$与$x - \frac{1}{R}\nabla f(x)$的线段上满足Lipschitz连续性。
• 通过充分不等式$\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$提出受限强凸性条件，其中$x^*$为解集的投影。
• 在这些受限条件下分析普通和加速梯度方法，利用能量函数和递推不等式技术推导收敛速率。
• 采用一种新颖的可变参数$h$与步长参数$\theta$的递推分析方法，以界解集距离，并最小化收缩因子。
• 通过最小化误差减少因子的二次界，推导出$\theta$和$h$的最优值，从而获得紧致的复杂度估计。
• 通过引入重启和跳过技术，将理论结果应用于稀疏优化，提升在新条件下的实际性能。

实验结果

研究问题

• RQ1 在不假设梯度全局Lipschitz连续性的前提下，能否实现普通梯度下降的$O(R/\epsilon)$次线性收敛速率？
• RQ2 在弱于全局$L$-Lipschitz连续性的梯度连续性假设下，加速梯度方法能否实现$O(\sqrt{R/\epsilon})$的复杂度？
• RQ3 受限的充分条件$\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$是否意味着几何收敛并改善复杂度界？
• RQ4 受限Lipschitz条件对观察到的收敛速率是必要还是充分？其与全局假设相比如何？
• RQ5 新条件是否可通过重启和跳过技术，在稀疏优化中实现更快的实际算法？

主要发现

• 在受限Lipschitz条件下，普通梯度方法的迭代复杂度为$O(R/\epsilon)$，其中$R$为从$x$到$x - \frac{1}{R}\nabla f(x)$线段上的局部Lipschitz常数。
• 在相同受限Lipschitz条件下，加速梯度方法的复杂度为$O(\sqrt{R/\epsilon})$，优于标准的$O(\sqrt{L/\epsilon})$界。
• 在额外的受限充分条件（参数为$\nu$）下，复杂度进一步改善为普通梯度方法的$O\left(\frac{R}{\nu}\log\frac{1}{\epsilon}\right)$和加速方法的$O\left(\sqrt{\frac{R}{\nu}}\log\frac{1}{\epsilon}\right)$。
• 证明了充分条件是解误差几何衰减的必要条件，即其对线性收敛速率至关重要。
• 受限条件通常导致更小的$R$和更大的$\nu$，从而在实践中获得更优的复杂度界。
• 该分析支持一种回溯线搜索方法，可在无需预先知晓$R$的情况下实现相同复杂度，并通过重启和跳过技术在稀疏优化中支持更快速的算法。