[论文解读] Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees

Francesco Locatello, Michael Tschannen+2 more|arXiv (Cornell University)|May 31, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

本文提出了针对一般原子集的锥约束优化的新型贪心算法，首次为非负匹配追踪（MP）方法提供了收敛性保证。针对光滑凸目标函数，算法实现了子线性收敛率（O(1/t)）；针对强凸目标函数，实现了线性收敛率（O(e^−t)），并给出了依赖于原子集几何结构的显式常数。

ABSTRACT

Greedy optimization methods such as Matching Pursuit (MP) and Frank-Wolfe (FW) algorithms regained popularity in recent years due to their simplicity, effectiveness and theoretical guarantees. MP and FW address optimization over the linear span and the convex hull of a set of atoms, respectively. In this paper, we consider the intermediate case of optimization over the convex cone, parametrized as the conic hull of a generic atom set, leading to the first principled definitions of non-negative MP algorithms for which we give explicit convergence rates and demonstrate excellent empirical performance. In particular, we derive sublinear ($\mathcal{O}(1/t)$) convergence on general smooth and convex objectives, and linear convergence ($\mathcal{O}(e^{-t})$) on strongly convex objectives, in both cases for general sets of atoms. Furthermore, we establish a clear correspondence of our algorithms to known algorithms from the MP and FW literature. Our novel algorithms and analyses target general atom sets and general objective functions, and hence are directly applicable to a large variety of learning settings.

研究动机与目标

• 解决现有贪心算法在原子集的锥包络上优化时缺乏收敛性保证的问题，该问题处于线性张成与凸包参数化之间的关键中间情形。
• 为锥包络设计系统性的非负MP变体，确保其可证明收敛，并适用于一般光滑凸目标函数，而不仅限于二次目标函数。
• 为所提出的算法建立显式的子线性和线性收敛速率，其依赖于原子集的几何结构以及目标函数的光滑性/强凸性。
• 通过引入统一的收敛性分析，弥合弗兰克-沃尔夫（凸包）与匹配追踪（线性张成）之间的理论鸿沟，提出适用于锥包络情形的算法。
• 通过消除对有限原子集或特定目标形式的假设，使算法更广泛适用于现实世界问题，如非负矩阵分解、信号解卷积和稀疏建模。

提出的方法

• 提出一种非正交MP算法，用于在一般原子集的锥包络上最小化光滑凸函数，利用线性最小化Oracle（LMO）在每轮迭代中选择原子。
• 受弗兰克-沃尔夫和广义MP的启发，引入前进步、成对和完全校正MP变体，支持对先前选择的原子进行权重修正，以提升收敛性能。
• 定义一种新的类似曲率的量 $\mu_{f,\rho\mathcal{A}}^{A}$，用于表征每轮迭代的进展，其依赖于原子集的几何结构和梯度行为。
• 通过一种新颖的分析框架，将对偶间隙与每轮迭代的进展通过曲率参数和平滑常数关联起来，推导出收敛速率。
• 引入具有乘法误差 $\delta$ 的近似LMO，以支持实际实现，同时保持收敛性保证。
• 建立仿射不变的平滑性和强凸性概念，确保速率界不依赖于范数选择，对缩放具有鲁棒性。

实验结果

研究问题

• RQ1 能否为一般原子集的锥包络上的优化设计出具有理论收敛保证的贪心算法，即使原子集为无限集或其方向不与下降方向对齐？
• RQ2 在光滑凸和强凸目标函数下，非负MP算法在锥包络上的收敛速率是多少？其如何依赖于原子集的几何结构？
• RQ3 在锥包络设置下，所提出的MP变体（非正交、前进步、成对、完全校正）与现有弗兰克-沃尔夫和匹配追踪方法相比，在收敛速度和稳定性方面有何差异？
• RQ4 该收敛性分析能否推广至一般光滑凸函数，而不仅限于先前非负MP研究中常见的二次目标函数？
• RQ5 原子集的直径、半径和C-宽度在决定所提算法收敛速率方面起什么作用？

主要发现

• 所提出的非正交MP算法在光滑凸目标函数下实现了 $\mathcal{O}(1/t)$ 的子线性收敛速率，显式常数依赖于原子集的几何结构和目标函数的平滑性。
• 对于强凸目标函数，算法实现了 $\mathcal{O}(e^{-t})$ 的线性收敛速率，速率常数依赖于强凸性参数和原子集的C-宽度。
• 前进步和完全校正MP变体在相同假设下也分别实现了子线性和线性收敛速率，收敛界通过相同的曲率参数 $\mu_{f,\rho\mathcal{A}}^{A}$ 推导得出。
• 收敛速率与所用范数无关，依赖于仿射不变的平滑性和强凸性概念，确保对缩放具有鲁棒性。
• 当锥包络与线性张成或凸包重合时，该分析可恢复广义MP和弗兰克-沃尔夫的已知收敛速率，表明在不同框架间的一致性。
• 所提算法的计算复杂度与标准MP保持一致，实现收敛性保证无需额外计算开销。