[论文解读] A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|Jan 20, 2013

Advanced Bandit Algorithms Research参考文献 34被引用 63

一句话总结

本文提出了一种新型的条件梯度算法，用于在多面体集上进行光滑且强凸优化，该算法在每次迭代中仅需一次线性优化预言机调用，即可实现线性收敛，相较于之前的方法实现了指数级改进。该算法在在线凸优化中实现了最优后悔边界，且每轮仅需一次线性预言机调用，从而解决了该领域的一个开放问题。

ABSTRACT

Linear optimization is many times algorithmically simpler than non-linear convex optimization. Linear optimization over matroid polytopes, matching polytopes and path polytopes are example of problems for which we have simple and efficient combinatorial algorithms, but whose non-linear convex counterpart is harder and admits significantly less efficient algorithms. This motivates the computational model of convex optimization, including the offline, online and stochastic settings, using a linear optimization oracle. In this computational model we give several new results that improve over the previous state-of-the-art. Our main result is a novel conditional gradient algorithm for smooth and strongly convex optimization over polyhedral sets that performs only a single linear optimization step over the domain on each iteration and enjoys a linear convergence rate. This gives an exponential improvement in convergence rate over previous results. Based on this new conditional gradient algorithm we give the first algorithms for online convex optimization over polyhedral sets that perform only a single linear optimization step over the domain while having optimal regret guarantees, answering an open question of Kalai and Vempala, and Hazan and Kale. Our online algorithms also imply conditional gradient algorithms for non-smooth and stochastic convex optimization with the same convergence rates as projected (sub)gradient methods.

研究动机与目标

• 开发一种用于在多面体集上进行光滑且强凸优化的条件梯度算法，使其在最小化线性优化预言机调用次数的前提下实现线性收敛。
• 解决在多面体上仅通过每轮一次线性优化步骤实现在线凸优化最优后悔边界的开放问题。
• 将新算法扩展至非光滑及随机凸优化场景，使其收敛速率与投影（次）梯度方法相当，同时以线性预言机调用替代投影操作。
• 建立对类似条件梯度方法的预言机复杂度的理论下界，表明所提算法的性能在对数因子范围内近乎最优。

提出的方法

• 提出一种新型条件梯度算法，每次迭代仅执行一次线性优化预言机调用，并在多面体集上对光滑且强凸目标函数实现线性收敛。
• 引入一种新颖的线搜索与更新规则，确保目标函数值充分下降，同时保持可行性和收敛性保证。
• 利用多面体集的结构，确保算法迭代点通过线性优化获得的顶点的凸组合始终位于可行区域内。
• 通过构建一种随机化的在线变体，将新算法应用于在线凸优化，保持与最优 $\tilde{O}(\text{poly}(D, G)\rho\text{poly}(T))$ 量级相匹配的后悔边界。
• 通过结合平滑化与采样技术，将该框架扩展至随机与非光滑场景，同时保持收敛速率。
• 基于概率单纯形构造下界论证，证明为达到 $\frac{1}{4n}$-精度，所需线性预言机调用次数为 $\tilde{\theta}(n)$，从而证明所提方法的近似最优性。

实验结果

研究问题

• RQ1 能否设计一种条件梯度算法，在每次迭代中仅使用一次线性优化预言机调用，即可实现对多面体上光滑且强凸优化的线性收敛？
• RQ2 能否设计一种用于多面体域的在线条件梯度算法，使得每轮仅使用一次线性优化步骤即可实现最优后悔边界？
• RQ3 所提算法能否扩展至非光滑与随机凸优化场景，同时保持与投影（次）梯度方法相当的收敛速率？
• RQ4 对于多面体上的光滑且强凸问题，类似条件梯度方法的预言机复杂度有多紧？

主要发现

• 所提算法在多面体上的光滑且强凸优化中实现了线性收敛 $e^{-\tilde{\theta}(t)}$，相较于先前的 $t^{-1}$ 收敛率实现了指数级改进。
• 对于具有凸损失的在线凸优化，该算法实现了 $\tilde{O}(\rho\text{poly}(T))$ 量级的最优后悔边界，与投影梯度方法的 $\tilde{O}(\rho\text{poly}(T))$ 边界完全一致。
• 对于在线强凸损失，该算法实现了 $\tilde{O}(\text{poly}(\rho)\text{poly}(\text{log} T))$ 量级的后悔边界，与目前已知最佳边界一致。
• 该算法在单纯形上达到 $\theta$-精度所需调用线性预言机的次数为 $O(n \text{log}(1/\theta))$，与 $\tilde{\theta}(n)$ 的下界仅相差对数因子。
• 在非光滑与随机设置中，该方法实现了与投影（次）梯度方法相同的收敛速率，但以高效的线性优化步骤替代了昂贵的投影操作。