[논문 리뷰] Limited Memory Kelley's Method Converges for Composite Convex and Submodular Objectives

Song Ping Zhou, Swati Gupta외 1명|arXiv (Cornell University)|2018. 07. 19.

Advanced Optimization Algorithms Research참고 문헌 3인용 수 3

한 줄 요약

이 논문은 복합 볼록 및 하위모듈라 목적함수를 최소화하기 위한 켈리의 커팅 평면 방법의 새로운 변종인 제한 메모리 켈리 방법(Limited Memory Kelley’s Method, L-KM)을 소개한다. 하위모듈라 기본 다면체 위에서 제한 메모리 프랭크-울프 변종(L-FCFW)과의 이중성에 기반하여, 볼록 성분이 미끄럼과 강한 볼록성을 동시에 만족할 경우 L-KM는 선형 수렴를 달성하며, 반복 횟수와 관계없이 최대 $n+1$개의 제약 조건을 유지한다. 이는 이러한 방법에 대한 수렴 속도에 관한 열린 문제를 해결한다.

ABSTRACT

The original simplicial method (OSM), a variant of the classic Kelley's cutting plane method, has been shown to converge to the minimizer of a composite convex and submodular objective, though no rate of convergence for this method was known. Moreover, OSM is required to solve subproblems in each iteration whose size grows linearly in the number of iterations. We propose a limited memory version of Kelley's method (L-KM) and os OSM that requires limited memory (at most n + 1 constraints for an n-dimensional problem) independent of the iteration. We prove convergence for L-KM when the convex part of the objective (g) is strongly convex and show it converges linearly when g is also smooth. Our analysis relies on duality between minimization of the composite objective and minimization of a convex function over the corresponding submodular base polytope. We introduce a limited memory version, L-FCFW, of the Fully-Corrective Frank-Wolfe (FCFW) method with approximate correction, to solve the dual problem. We show that L-FCFW and L-KM are dual algorithms that produce the same sequence of iterates; hence both converge linearly (when g is smooth and strongly convex) and with limited memory. We propose L-KM to minimize composite convex and submodular objectives; however, our results on L-FCFW hold for general polytopes and may be of independent interest.

연구 동기 및 목표

• 원래 단순체 방법(Original Simplicial Method, OSM)은 수렴하지만 알려진 수렴 속도가 없어, 이에 대한 보완이 필요하다.
• OSM는 반복 횟수에 비례해 제약 조건을 선형으로 축적하여 메모리 효율성이 떨어지므로 이를 해결하고자 한다.
• 복합 볼록 및 하위모듈라 목적함수를 위한 제한 메모리 알고리즘을 개발하여 수렴성과 효율성을 유지하고자 한다.
• L-KM와 제한 메모리 프랭크-울프 변종(L-FCFW) 간의 이중성을 확립하여 수렴 분석을 가능하게 하고자 한다.
• 볼록 성분이 미끄럼과 강한 볼록성을 동시에 만족할 경우 L-KM의 선형 수렴를 증명하고자 한다.

제안 방법

• 제한 메모리 켈리 방법(L-KM)을 제안하며, 반복 횟수에 관계없이 최대 $n+1$개의 지지 초평면을 사용하여 로바슈 확장의 근사치를 구한다.
• 하위모듈라 기본 다면체에 적용된 제한 메모리 프랭크-울프 방법의 변종(L-FCFW)과 L-KM 간의 이중성을 수립한다.
• 수렴 분석을 위해 $h$가 미끄럼이고 볼록인 이중 문제 $\max_{w \in B(F)} h(w)$ 를 사용하며, 이중성 갭을 통해 수렴을 분석한다.
• 활성 집합 크기가 최대 $n+1$인 제한 메모리, 약간 수정된 프랭크-울프 방법인 L-FCFW를 도입한다.
• 이중성 갭 $p^{(i)} - d^{(i)}$ 를 사용하여 수렴을 측정하는 원시-이중 프레임워크를 활용한다.
• L-FCFW에 보정 메커니즘을 적용하여 비활성 정점들을 제거하면서도 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 복합 볼록 및 하위모듈라 목적함수를 위한 켈리 방법의 제한 메모리 변종을 설계할 수 있는가? 이 방법은 수렴성을 유지하는가?
• RQ2 이러한 제한 메모리 방법이 증명 가능한 수렴 속도를 갖는가, 특히 선형 수렴를 달성하는가?
• RQ3 L-KM와 L-FCFW 간의 이중성을 활용하여 두 알고리즘 모두에 대한 수렴 보장을 유도할 수 있는가?
• RQ4 L-FCFW의 활성 집합 크기를 $n+1$로 제한하면서도 수렴성을 유지할 수 있는가?
• RQ5 볼록 성분이 미끄럼과 강한 볼록성을 동시에 만족할 경우, 이중성 갭을 사용하여 선형 수렴를 확립할 수 있는가?

주요 결과

• 볼록 성분 $g$ 가 미끄럼과 강한 볼록성을 동시에 만족할 경우, L-KM는 선형 수렴를 보이며, 이중성 갭 $p^{(i)} - d^{(i)}$ 도 선형적으로 감소한다.
• $(p^\star - d^{(i)}) \geq M^2/(2\beta)$ 이면 $p^{(i)} - d^{(i)} \leq (p^\star - d^{(i)}) + M^2/(2\beta)$ 를 만족하고, 그렇지 않으면 $p^{(i)} - d^{(i)} \leq M\sqrt{2(p^\star - d^{(i)})/\beta}$ 를 만족하며, 이 경우 $p^\star - d^{(i)}$ 는 선형적으로 수렴한다.
• OSM 역시 동일한 조건 하에서 선형 수렴를 보이며, 이는 OSM과 L-FCFW 간의 이중성에 따른 추론이다.
• L-FCFW는 활성 집합 크기를 최대 $n+1$로 유지하며, 엄격한 보조 조건이 충족될 경우 이중 최적 해를 사용해 정점들을 제거할 수 있다.
• 실험 결과, OSM에 비해 L-KM는 메모리 사용을 크게 줄였고, 반복 횟수 기준 수렴 속도는 유사했으며, 반복이 진행될수록 단위 반복 실행 시간이 향상되었다.
• L-FCFW는 표준 프랭크-울프 방법에 비해 이중 수렴에서 뛰어난 성능을 보이며, 더 작은 보조 문제를 유지하여 동일한 정확도 허용 오차에서 더 빠른 수렴를 달성했다.