[論文レビュー] Limited Memory Kelley's Method Converges for Composite Convex and Submodular Objectives

Song Ping Zhou, Swati Gupta+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Optimization Algorithms Research参考文献 3被引用数 3

ひとこと要約

本稿では、合成凸および単調非増加目的関数を最小化するためのケロールズ切断平面法の新規変種である制限記憶ケロールズ法（L-KM）を提案する。単調非増加基本ポリトープ上での制限記憶フランク＝ウォルフ法（L-FCFW）との双対性を活用することで、凸成分が滑らかで強く凸である場合に線形収束を達成し、反復回数に依存せずに最大 $n+1$ 個の制約を維持する。これは、このような手法における収束速度に関する未解決問題を解決する。

ABSTRACT

The original simplicial method (OSM), a variant of the classic Kelley's cutting plane method, has been shown to converge to the minimizer of a composite convex and submodular objective, though no rate of convergence for this method was known. Moreover, OSM is required to solve subproblems in each iteration whose size grows linearly in the number of iterations. We propose a limited memory version of Kelley's method (L-KM) and os OSM that requires limited memory (at most n + 1 constraints for an n-dimensional problem) independent of the iteration. We prove convergence for L-KM when the convex part of the objective (g) is strongly convex and show it converges linearly when g is also smooth. Our analysis relies on duality between minimization of the composite objective and minimization of a convex function over the corresponding submodular base polytope. We introduce a limited memory version, L-FCFW, of the Fully-Corrective Frank-Wolfe (FCFW) method with approximate correction, to solve the dual problem. We show that L-FCFW and L-KM are dual algorithms that produce the same sequence of iterates; hence both converge linearly (when g is smooth and strongly convex) and with limited memory. We propose L-KM to minimize composite convex and submodular objectives; however, our results on L-FCFW hold for general polytopes and may be of independent interest.

研究の動機と目的

• オリジナル簡易単体法（OSM）の収束速度保証の欠如に起因する問題を解決すること。OSMは収束はするが、収束速度が不明である。
• OSMの記憶効率の低さ、反復回数に比例して制約が蓄積されるという問題を克服すること。
• 合成凸および単調非増加目的関数のための制限記憶アルゴリズムを設計し、収束性と効率性を維持すること。
• L-KMと制限記憶フランク＝ウォルフ法の変種（L-FCFW）との双対性を確立し、収束解析を可能にすること。
• 凸成分が滑らかで強く凸である場合に、L-KMの線形収束を証明すること。

提案手法

• 反復回数に依存せず最大 $n+1$ 個の支持超平面を用いてラヴェシュ拡張を近似する制限記憶ケロールズ法（L-KM）を提案する。
• 単調非増加基本ポリトープに適用した完全補正フランク＝ウォルフ法の制限記憶版（L-FCFW）との双対性を確立する。
• 滑らかで凹関数である $h$ に対する双対問題 $\max_{w \in B(F)} h(w)$ を用い、双対ギャップを用いて収束を解析する。
• 活性集合のサイズが最大 $n+1$ に保たれる、近似的に補正された制限記憶フランク＝ウォルフ法（L-FCFW）を導入する。
• 双対ギャップ $p^{(i)} - d^{(i)}$ を用いて収束を測定する、原双対フレームワークを採用する。
• L-FCFWに、非活性頂点を削除可能にする補正機構を導入し、収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 合成凸および単調非増加目的関数のための制限記憶ケロールズ法を設計可能か？ その際、収束性を維持できるか？
• RQ2 そのような制限記憶法が、特に線形収束を達成する保証を得られるか？
• RQ3 L-KMとL-FCFWとの双対性を活用して、両アルゴリズムの収束保証を導出可能か？
• RQ4 L-FCFWにおける活性集合サイズを $n+1$ に制限可能か？ その際、収束性を維持できるか？
• RQ5 凸成分が滑らかで強く凸である場合に、双対ギャップを用いて線形収束を確立可能か？

主な発見

• 凸成分 $g$ が滑らかで強く凸である場合、L-KMは線形収束を示し、双対ギャップ $p^{(i)} - d^{(i)}$ が線形に減少する。
• $(p^\star - d^{(i)}) \geq M^2/(2\beta)$ の場合、$p^{(i)} - d^{(i)} \leq (p^\star - d^{(i)}) + M^2/(2\beta)$ が成り立ち、そうでない場合、$p^{(i)} - d^{(i)} \leq M\sqrt{2(p^\star - d^{(i)})/\beta}$ が成り立つ。このとき $p^\star - d^{(i)}$ は線形に収束する。
• OSMも同様の条件下で線形収束する。これは、OSMとL-FCFWとの双対性の系として得られる。
• L-FCFWは活性集合のサイズを最大 $n+1$ に保ち、厳密な補完性スラックが成り立つ場合に双対最適解を用いてプリーニングが可能である。
• 実験では、OSMに比べてL-KMは著しく記憶容量を削減し、反復回数の収束速度は同等であり、反復が進むにつれて1反復あたりの実行時間が向上する。
• L-FCFWは、標準的フランク＝ウォルフ法に比べて双対収束が優れており、より小さな部分問題を維持し、同じ精度許容誤差でより速い収束を達成する。