[论文解读] Linear-Memory and Decomposition-Invariant Linearly Convergent Conditional Gradient Algorithm for Structured Polytopes

Dan Garber, Ofer Meshi|arXiv (Cornell University)|May 1, 2016

Stochastic Gradient Optimization Techniques被引用 23

一句话总结

本文提出了一种针对结构化多面体的新型条件梯度算法，实现与维度无关的线性收敛，且内存和计算成本均为线性。通过利用分解不变的回退步，该方法将依赖维度的因子替换为依赖稀疏性的项，当最优解稀疏时显著提升了收敛速度。

ABSTRACT

Recently, several works have shown that natural modifications of the classical conditional gradient method (aka Frank-Wolfe algorithm) for constrained convex optimization, provably converge with a linear rate when the feasible set is a polytope, and the objective is smooth and strongly-convex. However, all of these results suffer from two significant shortcomings: i) large memory requirement due to the need to store an explicit convex decomposition of the current iterate, and as a consequence, large running-time overhead per iteration ii) the worst case convergence rate depends unfavorably on the dimension In this work we present a new conditional gradient variant and a corresponding analysis that improves on both of the above shortcomings. In particular, both memory and computation overheads are only linear in the dimension, and in addition, in case the optimal solution is sparse, the new convergence rate replaces a factor which is at least linear in the dimension in previous works, with a linear dependence on the number of non-zeros in the optimal solution At the heart of our method, and corresponding analysis, is a novel way to compute decomposition-invariant away-steps. While our theoretical guarantees do not apply to any polytope, they apply to several important structured polytopes that capture central concepts such as paths in graphs, perfect matchings in bipartite graphs, marginal distributions that arise in structured prediction tasks, and more. Our theoretical findings are complemented by empirical evidence that shows that our method delivers state-of-the-art performance.

研究动机与目标

• 解决现有条件梯度方法在多面体约束下内存和计算开销过高的问题。
• 通过用最优解稀疏性依赖项替代维度依赖项，消除收敛速率中的维度依赖因子。
• 开发一种在保持线性收敛的同时，降低每轮迭代复杂度和存储需求的方法。
• 将理论保证扩展至结构化多面体（如图路径、匹配问题和结构化预测中的多面体）。
• 为相关优化任务提供最先进的性能的实证证据。

提出的方法

• 提出一种新型的、对当前迭代的凸分解不变的回退步形式，实现稳定且高效的更新。
• 通过避免显式存储迭代的完整凸分解，仅维持线性内存占用。
• 采用改进的线搜索策略，在保证目标函数充分下降的同时，维持收敛性保证。
• 分析基于一种新的理论框架，将收敛速率与最优解的稀疏性关联，而非与环境维度关联。
• 该方法特别针对结构化多面体设计，包括边缘多面体和匹配多面体，其中稀疏性天然存在。
• 关键创新在于使用分解不变的回退步，使算法在每轮迭代中无需重新计算或存储完整分解。

实验结果

研究问题

• RQ1 能否设计一种条件梯度变体，在结构化多面体上实现仅需线性内存和计算成本的线性收敛？
• RQ2 能否使收敛速率独立于环境维度，而改依赖于最优解的稀疏性？
• RQ3 能否设计对凸分解选择不变的回退步，从而提升稳定性和效率？
• RQ4 理论改进是否能在真实世界的结构化优化问题中转化为实际性能提升？
• RQ5 哪些类别的结构化多面体可支持此类分解不变、线性收敛的算法？

主要发现

• 所提算法实现线性收敛，其内存占用和每轮迭代成本随问题维度线性增长，而非二次或更差。
• 收敛速率中的因子由至少与维度线性相关的项，替换为仅依赖于最优解中非零项数量的项。
• 该方法适用于重要的结构化多面体，如图中路径、二分图中的完美匹配，以及结构化预测中的边缘分布。
• 实证结果表明性能达到最先进水平，证实了理论优势在实践中的有效性。
• 当最优解稀疏时，该算法仍保持线性收敛，显著优于先前方法。
• 理论分析适用于稀疏性天然存在的结构化多面体类别，超越了一般多面体的范围。