[论文解读] Chebushev Greedy Algorithm in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Dec 4, 2013

Sparse and Compressive Sensing Techniques参考文献 10被引用 6

一句话总结

本文引入并分析了在巴拿赫空间中用于凸优化的E-贪婪切比雪夫算法（EGCA）与弱切比雪夫贪婪算法（WCGA），将从希尔伯特空间推广至巴拿赫空间的贪婪逼近技术。通过建立勒贝格型不等式，证明了在光滑性与受限强凸性假设下，当真实解相对于给定字典为稀疏或近似稀疏时，误差随迭代次数呈指数衰减。

ABSTRACT

Chebyshev Greedy Algorithm is a generalization of the well known Orthogonal Matching Pursuit defined in a Hilbert space to the case of Banach spaces. We apply this algorithm for constructing sparse approximate solutions (with respect to a given dictionary) to convex optimization problems. Rate of convergence results in a style of the Lebesgue-type inequalities are proved.

研究动机与目标

• 将贪婪逼近方法从希尔伯特空间推广至巴拿赫空间，以求解凸优化问题。
• 在无限维设定下，为利用贪婪算法求解稀疏近似解建立收敛性理论。
• 基于目标函数的光滑性与真实解的稀疏性，建立收敛速率的上界。
• 在一致光滑性与受限强凸性假设下，分析E-贪婪切比雪夫算法（EGCA）与弱切比雪夫贪婪算法（WCGA）。
• 通过字典基稀疏性背景下的勒贝格型不等式，量化近似误差与迭代次数之间的权衡。

提出的方法

• 提出E-贪婪切比雪夫算法（EGCA）与弱切比雪夫贪婪算法（WCGA），用于在巴拿赫空间 $ X $ 上最小化一个凸的弗雷chet可微函数 $ E $。
• 在每次迭代中，选择字典元素 $ \varphi_m \in \mathcal{D} $，以最大程度减少方向导数或在一条一维子空间上最小化函数。
• 将逼近元 $ G_m $ 构造为 $ E $ 在前 $ m $ 个所选字典元素张成空间上的最小值点。
• 采用光滑性模 $ \rho(E,u) \leq \gamma u^q $ 来量化 $ E $ 的光滑性，其中 $ 1 < q \leq 2 $，并假设受限强凸性参数为 $ \beta $。
• 采用稀疏性假设：真实极小化元 $ f_0 $ 位于 $ \epsilon $-邻域内，相对于一个 $ K $-稀疏元 $ f^\epsilon $，且满足 $ f^\epsilon / A(\epsilon) \in A_1(\mathcal{D}) $。
• 通过光滑性与凸性推导误差 $ a_n = E(G_n) - E(f^\epsilon) $ 的递推不等式，以界定期望的衰减速率。

实验结果

研究问题

• RQ1 贪婪算法如何从希尔伯特空间推广至巴拿赫空间以用于凸优化？
• RQ2 在光滑性与稀疏性假设下，E-贪婪切比雪夫算法（EGCA）与WCGA可实现何种收敛速率？
• RQ3 误差如何随迭代次数 $ m $、光滑性参数 $ q $ 以及真实解的稀疏性而衰减？
• RQ4 光滑性模 $ \rho(E,u) $ 在决定贪婪算法收敛行为中起何种作用？
• RQ5 当解近似稀疏时，是否可在巴拿赫空间中为贪婪算法建立勒贝格型不等式？

主要发现

• 在 $ \rho(E,u) \leq \gamma u^q $ 且 $ f_0 \in A_1(\mathcal{D}) $ 的条件下，WCGA(co) 的收敛速率为 $ E(G_m) - \inf E \leq C(q,\gamma,B) \left( \sum_{k=1}^m t_k^p \right)^{1-q} $，其中 $ p = q/(q-1) $。
• 当 $ t_k = t \in (0,1] $ 时，误差衰减为 $ O(m^{1-q}) $，在 $ q=2 $ 时为关于 $ m $ 的指数衰减，满足一致光滑性条件。
• EGCA(co) 达到类似的收敛速率：$ E(G_m) - E(f_0) \leq \max\left( (E(0)-E(f_0)) \exp\left(-\frac{c_1 m}{K^{2r}}\right), 8(\gamma^2/\beta)\epsilon^2 \right) + 2\gamma\epsilon^2 $，其中 $ c_1 = \frac{\beta}{64\gamma V^2} $。
• 当真实解 $ f_0 $ 为 $ K $-稀疏且 $ \|f_0 - f^\epsilon\| \leq \epsilon $ 时，误差以 $ m/K^{2r} $ 的指数形式衰减，表明稀疏解具有快速收敛性。
• 收敛速率依赖于 $ E $ 的光滑性、解的稀疏性，以及通过常数 $ V $ 和 $ r $ 反映的字典几何结构。
• 分析表明，误差界对真实解的 $ \epsilon $-扰动具有鲁棒性，误差随 $ \epsilon $ 的平方增长。