[论文解读] Greedy expansions in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|Jun 2, 2012

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文引入并分析了凸优化中稀疏解的贪心算法扩展，借鉴非线性逼近理论的技术。在一致光滑性条件下，建立了贪心贪心算法（GGA）的收敛速率，当目标函数的光滑性模有界于幂函数时，显示出最优收敛速率，且在对称字典（如单位球面）情况下收敛速率进一步提升。

ABSTRACT

This paper is a follow up to the previous author's paper on convex optimization. In that paper we began the process of adjusting greedy-type algorithms from nonlinear approximation for finding sparse solutions of convex optimization problems. We modified there three the most popular in nonlinear approximation in Banach spaces greedy algorithms -- Weak Chebyshev Greedy Algorithm, Weak Greedy Algorithm with Free Relaxation and Weak Relaxed Greedy Algorithm -- for solving convex optimization problems. We continue to study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. In this paper we concentrate on greedy algorithms that provide expansions, which means that the approximant at the $m$th iteration is equal to the sum of the approximant from the previous iteration ($(m-1)$th iteration) and one element from the dictionary with an appropriate coefficient. The problem of greedy expansions of elements of a Banach space is well studied in nonlinear approximation theory. At a first glance the setting of a problem of expansion of a given element and the setting of the problem of expansion in an optimization problem are very different. However, it turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy expansions technique can be adjusted for finding a sparse solution of an optimization problem given by an expansion with respect to a given dictionary.

研究动机与目标

• 将非线性逼近中的贪心逼近技术适配至稀疏凸优化问题。
• 开发并分析能够以系数迭代添加字典元素的方式生成解的贪心算法。
• 在目标函数具有一致光滑性假设下，建立这些贪心扩展的收敛速率。
• 在特殊情况下（如字典为巴拿赫空间的单位球面）改进收敛速率。

提出的方法

• 将三种贪心型算法——弱切比雪夫法、弱松弛贪心法与弱松弛贪心法——统一整合为凸优化的框架。
• 引入贪心贪心算法（GGA），其参数包括 τ（弱性序列）、b（松弛参数）和 μ（光滑性控制参数），以确保收敛性。
• 使用光滑性模 ρ(E, S, u) 来刻画凸函数 E 的光滑性，假设 ρ(E, u) ≤ γu^q，其中 q ∈ (1,2]。
• 通过递归不等式关联误差 a_m = E(G_m) - inf E(x)，利用序列 b_m = 1 + ∑_{j=1}^m c_j 来界定收敛性。
• 应用泛函分析中的不等式，包括哈恩-巴拿赫范数泛函与凸性次梯度界，推导误差衰减。
• 通过分析 a_m^1/(q-1) / b_m^p 的衰减行为（其中 p = q/(q-1)），结合递归界与渐近分析，推导收敛速率。

实验结果

研究问题

• RQ1 能否将非线性分析中的贪心逼近技术有效适配至凸优化问题？
• RQ2 在一致光滑性假设下，贪心扩展在凸优化中的收敛速率可保证为何种水平？
• RQ3 字典的选择（如单位球面）如何影响贪心算法的收敛速率？
• RQ4 松弛参数 b 与弱性序列 τ 在控制收敛速度方面起何作用？
• RQ5 当字典为巴拿赫空间的单位球面时，能否推导出更优的收敛速率？

主要发现

• 对于一般对称字典，GGA 的收敛速率为 E(G_m) - inf E(x) ≤ C(b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{-t_m(1-b)(q-1)/(q + t_m(1-b))}，其中 p = q/(q-1)。
• 当字典为单位球面时，收敛速率提升为 E(G_m) - inf E(x) ≤ C(E, b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{1-q}。
• 收敛速率依赖于光滑性参数 q：q 越大（越接近 2），衰减越快，表明函数越光滑则收敛越快。
• 误差界通过递归分析序列 a_m = E(G_m) - w 得到，其中 w 为 E 在字典凸包上的下确界。
• 分析表明，当光滑性模有界于幂函数时，选择 μ(u) = γu^q 可实现最优收敛速率。
• 在集合 {x: E(x) ≤ E(0)} 有界的假设下，结果成立，确保了优化过程的稳定性。