[논문 리뷰] Proximal Splitting Algorithms for Convex Optimization: A Tour of Recent Advances, with New Twists

Laurent Condat, Daichi Kitahara외 2명|arXiv (Cornell University)|2019. 11. 30.

Optimization and Variational Analysis인용 수 7

한 줄 요약

이 논문은 보편적인 거리 척도를 갖춘 원추형 최적화 문제의 프록시멀 스플리팅 알고리즘을 단일 이론적 프레임워크로 통합하여 제시한다. 이는 원추형 최적화 문제를 이중 변수의 곱공간에서의 단조 포함 문제로 재구성함으로써 이루어지며, 새로운 알고리즘 변종을 유도하고 수렴 보장을 확장한다. 특히 이차형 목적함수의 경우 이론적 수렴 안정성은 유지하면서도 수렴 속도를 향상시키기 위해 이완 매개변수의 범위를 확장할 수 있음을 보여준다.

ABSTRACT

Convex nonsmooth optimization problems, whose solutions live in very high dimensional spaces, have become ubiquitous. To solve them, the class of first-order algorithms known as proximal splitting algorithms is particularly adequate: they consist of simple operations, handling the terms in the objective function separately. In this overview, we demystify a selection of recent proximal splitting algorithms: we present them within a unified framework, which consists in applying splitting methods for monotone inclusions in primal-dual product spaces, with well-chosen metrics. Along the way, we easily derive new variants of the algorithms and revisit existing convergence results, extending the parameter ranges in several cases. In particular, we emphasize that when the smooth term in the objective function is quadratic, e.g., for least-squares problems, convergence is guaranteed with larger values of the relaxation parameter than previously known. Such larger values are usually beneficial for the convergence speed in practice.

연구 동기 및 목표

• 원추형 최적화 문제의 첫째 단계 프록시멀 스플리팅 알고리즘의 광범위한 클래스를 이중 변수의 곱공간에서의 단조 포함 문제 기반 단일 이론적 프레임워크로 통합하기.
• 특히 이차형 스무쓰 항을 포함한 문제에 대해, 프레임워크에서 자연스럽게 새로운 알고리즘 변종을 도출하기.
• 특히 이차형 목표함수가 존재할 경우, 이완 매개변수의 允許 범위를 확장함으로써 수렴 결과를 보다 넓게 확장하기.
• 대규모 문제를 위한 핵심 알고리즘의 병렬 버전을 체계적으로 유도하기.
• 다른 알고리즘들(예: Chambolle–Pock, PD3O, Davis–Yin) 간의 관계를 동일한 이론적 시각에서 명확히 하기.

제안 방법

• 원추형 최적화 문제를 원추형 및 이중 변수의 곱공간에서의 단조 포함 문제로 재구성하기.
• 포함 문제의 구조를 다루기 위해 적절히 선택된 거리 척도를 갖춘 이중형 전진-후진 스플리팅 방법 적용하기.
• 수렴 속도를 향상시키기 위해 업데이트 단계에 이완 매개변수 도입하기. 이때 수렴은 더 유연한 조건 하에서도 보장됨.
• 근접 연산자와 이중 전진 단계를 별도로 사용하여 비스무쓰 항과 스무쓰 항을 처리함으로써 모듈러 알고리즘 설계 가능하게 하기.
• 목적함수 내 다수의 항에 대해 업데이트를 분리함으로써 알고리즘의 병렬 버전 유도하기.
• 반복 구조를 단순화하고 알고리즘 단계의 해석 가능성을 향상시키기 위해 보조 변수(예: $\tilde{s}^{(i)}$, $a^{(i)}$)를 사용해 알고리즘 재구성하기.

실험 결과

연구 질문

• RQ1 다양한 프록시멀 스플리팅 알고리즘을 단일 이론적 프레임워크로 통합할 수 있는 방법은 무엇인가?
• RQ2 이완 매개변수에 대한 수렴 보장 조건는 무엇이며, 특히 이차형 스무쓰 항이 존재할 경우 이 범위를 확장할 수 있는가?
• RQ3 제안된 프레임워크에서 새로운 알고리즘 변종을 어떻게 체계적으로 도출할 수 있는가?
• RQ4 Chambolle–Pock, PD3O, Davis–Yin 등의 잘 알려진 알고리즘들은 이 프레임워크 내에서 어떤 관계를 맺는가?
• RQ5 대규모 문제에 대해 수렴 보장이 보장된 병렬 및 과도한 이완 버전의 알고리즘을 도출할 수 있는가?

주요 결과

• 제안된 프레임워크는 Chambolle–Pock, PD3O, Davis–Yin 등 주요 프록시멀 스플리팅 알고리즘들을 단일 단조 포함 공식화로 통합한다.
• 이완 매개변수 $\rho^{(i)} \in [0, \delta]$ 범위에서 수렴이 보장되며, $\delta = 2 - \tau\beta/2$ 로서 이전 범위를 초월한다.
• 이차형 스무쓰 항(예: 최소제곱)이 존재할 경우, 기존의 $\rho < 2$ 한계를 초월해 이완 매개변수를 증가시킬 수 있어 실용적 수렴 속도가 향상된다.
• 프레임워크는 자연스럽게 병렬 및 과도한 이완 버전을 포함한 새로운 알고리즘 변종을 도출하며, 이에 대한 수렴 보장이 가능하다.
• PD3O와 Loris–Verhoeven, Chambolle–Pock 알고리즘 간의 관계가 공식적으로 특수 케이스로서 규명된다.
• $\tilde{s}^{(i)}$ 및 $a^{(i)}$와 같은 보조 변수의 사용은 반복 구조를 단순화하고 알고리즘 단계의 명확한 해석 가능성을 제공한다.