[论文解读] Greedy Strategies for Convex Optimization

Hao Nguyen, Guergana Petrova|arXiv (Cornell University)|Jan 8, 2014

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文分析了在希尔伯特空间中用于凸优化的贪婪算法——正交匹配追踪（OMP）和弱切比雪夫贪婪算法（WCGA），在光滑性和一致凸性条件下建立了改进的收敛速率。证明了当目标函数同时满足光滑性模与一致凸性模条件时，这些算法的收敛速度优于以往结果，且给出了依赖于函数正则性参数的显式收敛速率。

ABSTRACT

We investigate two greedy strategies for finding an approximation to the minimum of a convex function $E$ defined on a Hilbert space $H$. We prove convergence rates for these algorithms under suitable conditions on the objective function $E$. These conditions involve the behavior of the modulus of smoothness and the modulus of uniform convexity of $E$.

研究动机与目标

• 分析贪婪算法在希尔伯特空间中最小化凸函数时的收敛行为。
• 在目标函数的光滑性与凸性条件下，为OMP(co)与WCGA(co)建立先验收敛速率。
• 通过同时引入光滑性模与一致凸性模，改进现有收敛速率。
• 证明更强的凸性假设可带来更快的收敛速度，尤其在稀疏最小化场景中。

提出的方法

• 作者定义了两种贪婪算法：OMP(co)与WCGA(co)，通过正交字典迭代构造m-稀疏逼近。
• 收敛性分析依赖于三个关键条件：Fréchet可微性（条件0）、光滑性模（条件1）与一致凸性模（条件2）。
• 证明基于能量衰减与内积范数控制的递归误差估计框架。
• 关键步骤涉及将引理4.2应用于由算法迭代生成的序列，其参数与光滑性及凸性参数相关。
• 分析区分两种情形：$p \neq q$（多项式衰减）与 $p = q = 2$（指数衰减），并分别给出不同的误差界。
• 通过条件2与范数不等式推导 $\|x_m - \bar{x}\|$ 的估计，将函数曲率与收敛速度相联系。

实验结果

研究问题

• RQ1 在更强的正则性假设下，OMP(co)与WCGA(co)等贪婪算法是否能在凸优化中实现更快的收敛速率？
• RQ2 目标函数的光滑性模与一致凸性模如何影响贪婪算法的收敛速度？
• RQ3 当最小值点稀疏且函数强凸时，OMP(co)与WCGA(co)的精确收敛速率是多少？
• RQ4 与仅假设光滑性或凸性的现有结果相比，新收敛速率有何改进？

主要发现

• 当 $1 < q < 2$ 时，OMP(co)算法实现误差衰减速率 $E(x_m) - E(\bar{x}) \leq C_0 m^{1 - \frac{q}{2 - q}}$，优于以往的 $1 - q$ 速率。
• 当 $q = 2$ 时，算法呈现指数收敛：$E(x_k) - E(\bar{x}) \leq (E(0) - E(\bar{x})) \left(1 - \frac{\tilde{C}_3}{|\bar{S}|}\right)^{k-1}$。
• 对于WCGA(co)，当 $p \neq q$ 时，误差衰减为 $e_k^w \leq \tilde{C} |\bar{S}|^{\frac{pq}{2(p-q)}} \left(\sum_{j=2}^k t_j^{\frac{q}{q-1}}\right)^{\frac{p(q-1)}{p-q}}$，其中常数依赖于 $\alpha$、$\beta$ 与 $E$。
• 当 $p = q = 2$ 时，WCGA(co)实现指数衰减：$e_k^w \leq C_2 \prod_{j=2}^k \left(1 - \frac{\tilde{C}_3}{|\bar{S}|} t_j^2 \right)$。
• 在相同条件下，范数误差 $\|x_k - \bar{x}\|$ 衰减为 $C_1 m^{\frac{1}{2} - \frac{q}{2(2 - q)}}$，表明更强的凸性带来更优的收敛速度。
• 结果表明，同时施加光滑性与一致凸性条件，可实现比仅依赖单一条件的方法更优的收敛速度。