[论文解读] Limited Memory Kelley's Method Converges for Composite Convex and Submodular Objectives

Song Ping Zhou, Swati Gupta+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Optimization Algorithms Research参考文献 3被引用 3

一句话总结

本文提出有限内存 Kelley 方法（L-KM），一种用于最小化复合凸与子模目标函数的 Kelley 切平面法的新变体。通过在子模基单纯形上与有限内存 Frank-Wolfe 方法（L-FCFW）建立对偶关系，L-KM 在凸分量同时具有光滑性和强凸性时实现线性收敛，且无论迭代次数如何，约束数量始终不超过 $n+1$——解决了此类方法收敛速率的开放问题。

ABSTRACT

The original simplicial method (OSM), a variant of the classic Kelley's cutting plane method, has been shown to converge to the minimizer of a composite convex and submodular objective, though no rate of convergence for this method was known. Moreover, OSM is required to solve subproblems in each iteration whose size grows linearly in the number of iterations. We propose a limited memory version of Kelley's method (L-KM) and os OSM that requires limited memory (at most n + 1 constraints for an n-dimensional problem) independent of the iteration. We prove convergence for L-KM when the convex part of the objective (g) is strongly convex and show it converges linearly when g is also smooth. Our analysis relies on duality between minimization of the composite objective and minimization of a convex function over the corresponding submodular base polytope. We introduce a limited memory version, L-FCFW, of the Fully-Corrective Frank-Wolfe (FCFW) method with approximate correction, to solve the dual problem. We show that L-FCFW and L-KM are dual algorithms that produce the same sequence of iterates; hence both converge linearly (when g is smooth and strongly convex) and with limited memory. We propose L-KM to minimize composite convex and submodular objectives; however, our results on L-FCFW hold for general polytopes and may be of independent interest.

研究动机与目标

• 解决原始单纯形法（OSM）缺乏收敛速率保证的问题，该方法虽收敛但其收敛速率未知。
• 克服 OSM 内存效率低下的问题，其约束随迭代线性累积。
• 为复合凸与子模目标函数设计一种有限内存算法，同时保持收敛性与效率。
• 建立 L-KM 与有限内存 Frank-Wolfe 变体（L-FCFW）之间的对偶关系，以支持收敛性分析。
• 在凸分量光滑且强凸的条件下，证明 L-KM 的线性收敛性。

提出的方法

• 提出有限内存 Kelley 方法（L-KM），通过最多 $n+1$ 个支撑超平面近似 Lovász 扩展，且与迭代次数无关。
• 建立 L-KM 与应用于子模基单纯形的完全校正 Frank-Wolfe 方法（L-FCFW）的有限内存变体之间的对偶关系。
• 利用对偶问题 $\max_{w \in B(F)} h(w)$，其中 $h$ 为光滑且凹函数，通过对偶间隙分析收敛性。
• 引入 L-FCFW 作为有限内存、近似校正的 Frank-Wolfe 方法，保持活动集大小不超过 $n+1$。
• 采用原始-对偶框架，使用对偶间隙 $p^{(i)} - d^{(i)}$ 衡量收敛性。
• 在 L-FCFW 中应用校正机制，允许在保持收敛保证的前提下剔除非活跃顶点。

实验结果

研究问题

• RQ1 能否为复合凸与子模目标函数设计一种有限内存的 Kelley 方法变体，同时保持收敛性？
• RQ2 此类有限内存方法是否能实现可证明的收敛速率，特别是线性收敛？
• RQ3 能否利用 L-KM 与 L-FCFW 之间的对偶关系，推导出两者的收敛保证？
• RQ4 是否可能将 L-FCFW 中的活动集大小控制在 $n+1$ 以内，同时保持收敛性？
• RQ5 当凸分量同时光滑且强凸时，能否利用对偶间隙建立线性收敛？

主要发现

• 当凸分量 $g$ 同时光滑且强凸时，L-KM 实现线性收敛，对偶间隙 $p^{(i)} - d^{(i)}$ 线性递减。
• 当 $(p^\star - d^{(i)}) \geq M^2/(2\beta)$ 时，有 $p^{(i)} - d^{(i)} \leq (p^\star - d^{(i)}) + M^2/(2\beta)$；否则 $p^{(i)} - d^{(i)} \leq M\sqrt{2(p^\star - d^{(i)})/\beta}$，且 $p^\star - d^{(i)}$ 线性收敛。
• 作为 OSM 与 L-FCFW 之间对偶关系的推论，OSM 在相同条件下也实现线性收敛。
• L-FCFW 保持活动集大小不超过 $n+1$，且在满足严格互补松弛条件时可利用对偶最优解进行修剪。
• 实验表明，L-KM 所用内存显著少于 OSM，在迭代次数上收敛速率相近，且随着迭代进行，单次迭代运行时间更优。
• L-FCFW 在对偶收敛方面优于标准带远离步的 Frank-Wolfe 方法，保持更小的子问题规模，实现相同精度容差下的更快收敛。