[论文解读] Linearly Convergent Away-Step Conditional Gradient for Non-strongly Convex Functions

Amir Beck, Shimrit Shtern|arXiv (Cornell University)|Apr 20, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用 10

一句话总结

本文提出了一种线性收敛的回退步条件梯度算法，用于最小化一个非强凸函数，该函数是线性项与一个强凸函数复合后经线性变换后在紧致多面体集上的和。通过引入一个新的几何常数——'顶点-面距离常数'，该方法在无需顶点线性预言机的情况下实现了线性收敛，克服了基于金字塔宽度的先前方法的局限性。

ABSTRACT

We consider the problem of minimizing a function, which is the sum of a linear function and a composition of a strongly convex function with a linear transformation, over a compact polyhedral set. Jaggi and Lacoste-Julien [14] showed that the conditional gradient method with away steps employed on the aforementioned problem without the additional linear term has linear rate of convergence, depending on the so-called pyramidal width of the feasible set. We revisit this result and provide a variant of the algorithm and an analysis that is based on simple duality arguments, as well as corresponding error bounds. This new analysis (a) enables the incorporation of the additional linear term, (b) does not require a linear-oracle that outputs an extreme point of the linear mapping of the feasible set and (c) depends on a new constant, termed "the vertex-facet distance constant", which is explicitly expressed in terms of the problem's parameters and the geometry of the feasible set. This constant replaces the pyramidal width, which is difficult to evaluate.

研究动机与目标

• 开发一种用于具有线性项的非强凸函数的线性收敛条件梯度方法。
• 消除对返回可行集线性映射极值点的顶点线性预言机的需求。
• 用一个更易计算的几何常数替代难以计算的金字塔宽度。
• 基于对偶性和误差界，为新算法框架建立收敛速率。
• 为常见多面体集（如单纯形、ℓ₁球和ℓ∞球）提供顶点-面距离常数的显式表达式。

提出的方法

• 提出一种新的回退步条件梯度（ASCG）方法变体，包含线性项，并避免依赖于顶点线性预言机。
• 引入'顶点-面距离常数' Ω_X，定义为从顶点到具有负内积的面的最小距离与约束行最大范数之比。
• 使用基于对偶性的分析和误差界推导收敛速率，替代先前对金字塔宽度的依赖。
• 基于Carathéodory定理的秩缩减过程，用于管理高维多面体中的大规模顶点集。
• 通过递推论证证明线性收敛性，表明至少一半的迭代满足收缩不等式，其收缩率为 (1−α†)。
• 利用其多面体表示和顶点-面几何结构，显式计算单位单纯形、ℓ₁球和ℓ∞球的 Ω_X。

实验结果

研究问题

• RQ1 能否使用回退步条件梯度方法，为具有线性项的非强凸函数实现线性收敛？
• RQ2 是否可能在收敛性分析中，用更易处理的几何常数替代金字塔宽度？
• RQ3 能否设计一种算法，避免要求输出变换后可行集极值点的顶点线性预言机？
• RQ4 对于标准多面体集（如单纯形和ℓ₁/ℓ∞球）而言，新几何常数 Ω_X 的显式值是多少？
• RQ5 新收敛速率如何依赖于问题参数和可行集的几何结构？

主要发现

• 该算法实现了形如 (1−α†)^(k/2) 的线性收敛速率，其中 α† 是依赖于顶点-面距离常数的常数。
• 顶点-面距离常数 Ω_X 是显式可计算的，并在收敛性分析中替代了难以处理的金字塔宽度。
• 对于单位单纯形，Ω_X = 1；对于ℓ₁球，Ω_X = 2/√n；对于ℓ∞球，Ω_X = 2。
• 该方法无需顶点线性预言机，从而扩大了其在该类预言机不可用或效率低下的问题中的适用范围。
• 收敛性分析基于对偶性和误差界，提供了清晰的理论基础，且不依赖于完整目标函数的强凸性。
• 该结果扩展了Jaggi和Lacoste-Julien的先前工作，将线性项纳入考虑，并采用更实用的几何常数。