[论文解读] Greedy approximation in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Jun 2, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用 7

一句话总结

本文为在巴拿赫空间中寻找凸优化问题的稀疏解，建立了一个理论框架，将原本用于非线性逼近理论的贪心逼近算法加以应用。结果表明，通过利用目标函数的光滑性及巴拿赫空间中的对偶性，相同的贪心技术（如弱切比雪夫贪心算法，WCGA）可实现与维度无关的收敛速率。

ABSTRACT

We study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. The problem of approximation of a given element of a Banach space by linear combinations of elements from a given system (dictionary) is well studied in nonlinear approximation theory. At a first glance the settings of approximation and optimization problems are very different. In the approximation problem an element is given and our task is to find a sparse approximation of it. In optimization theory an energy function is given and we should find an approximate sparse solution to the minimization problem. It turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy approximation technique can be adjusted for finding a sparse solution of an optimization problem.

研究动机与目标

• 弥合非线性逼近理论中的稀疏逼近与凸优化中的稀疏解之间的差距。
• 为无限维巴拿赫空间中的贪心算法提供与维度无关的收敛保证。
• 将原本用于函数逼近的贪心类型算法，适配为针对冗余字典的稀疏优化问题求解方法。
• 建立同一算法框架既适用于逼近又适用于优化的理论基础，通过利用对偶性和光滑性。
• 在目标函数的一般光滑性条件下，提供贪心算法的收敛速率。

提出的方法

• 通过在每个贪心步骤中使用负梯度作为选择准则，将弱切比雪夫贪心算法（WCGA）适配至凸优化。
• 使用一个满足 $ t_k \leq 1 $ 的薄弱性序列 $ t_k $ 来控制字典元素的选择，从而推广标准的贪心选择。
• 将逼近元 $ G_m $ 定义为当前残差在已选字典元素张成空间中的最佳逼近。
• 利用法向泛函 $ F_{f^{c}_{m-1}} $ 指导贪心选择，以确保目标函数的最陡下降。
• 在优化证明中，将标准逼近不等式 $ \|x + u y\| \geq F_x(x + u y) $ 替换为基于凸性的不等式。
• 将光滑性条件 $ \rho(u) \leq \gamma u^q $ 替换为更一般的不等式 $ E(x + u y) - E(x) - u\langle E'(x), y \rangle \leq 2\rho(E, u\|y\|) $，以增强适用范围。

实验结果

研究问题

• RQ1 能否有效将非线性逼近理论中的贪心逼近技术重新用于稀疏凸优化？
• RQ2 贪心算法在无限维巴拿赫空间中的稀疏优化问题中，其收敛速率如何？
• RQ3 目标函数的光滑性如何影响贪心算法在优化中的收敛行为？
• RQ4 在何种条件下，贪心算法能产生一个在 $ m $-项逼近类中既稀疏又最优的解？
• RQ5 能否通过利用对偶性，使同一理论框架同时适用于逼近与优化问题？

主要发现

• 如 WCGA、WRGA 和 WGAFR 等贪心算法可被适配至凸优化问题，并实现与环境维度无关的收敛速率。
• WCGA 在凸优化中的收敛速率取决于目标函数 $ E $ 的光滑模 $ \rho(E, u) $，当 $ \rho(E, u) \sim u^q $ 且 $ 1 < q \leq 2 $ 时收敛更快。
• 当 $ E(x) = \|f - x\|^q $ 时，优化中的贪心算法与逼近理论中的对应算法一致，验证了跨领域的统一性。
• 将凸包 $ A_1(\mathcal{D}) $ 作为约束集，可在 WRGA(co) 等算法中实现更紧的收敛界，尤其当 $ E $ 满足不等式 $ E(x + u(y - x)) - E(x) - u\langle E'(x), y - x \rangle \leq 2\rho(E, u\|y - x\|) $ 时。
• 贪心算法在优化中的理论收敛结果，使用与逼近理论中相同的递推技术推导，仅底层不等式（如 (5.1) 与 (1.9)）有所不同。
• 本文表明，子水平集 $ D = \{x : E(x) \leq E(0)\} $ 的有界性在通过 $ A_1(\mathcal{D}) $ 重新赋范后不再保持，凸显了原始巴拿赫空间结构的重要性。