[논문 리뷰] On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming

Liang Chen, Xudong Li외 2명|arXiv (Cornell University)|2018. 03. 28.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 3

한 줄 요약

이 논문은 복합 볼록 최적화 문제의 일종에 대해 비정확한 대칭 가우스-자이델(sGS) 다중 블록 ADMM와 비정확한 프록시멀 증강 라그랑주 방법(ALM) 사이의 등가성을 확립한다. 주요 기여는 이러한 등가성 덕분에 기존 상한 $(1+\sqrt{5})/2$를 초월하는 스텝 길이를 가진 ADMM에 대한 수렴 보장을 가능하게 하며, 특히 목적 함수 성분 중 하나가 선형인 경우에 효과적으로 작용하고, 비정확한 보조 문제 해법과 더 큰 스텝 길이를 통해 계산 효율성을 향상시킨다는 것이다.

ABSTRACT

In this paper, we show that for a class of linearly constrained convex composite optimization problems, an (inexact) symmetric Gauss-Seidel based majorized multi-block proximal alternating direction method of multipliers (ADMM) is equivalent to an {\em inexact} proximal augmented Lagrangian method (ALM). This equivalence not only provides new perspectives for understanding some ADMM-type algorithms but also supplies meaningful guidelines on implementing them to achieve better computational efficiency. Even for the two-block case, a by-product of this equivalence is the convergence of the whole sequence generated by the classic ADMM with a step-length that exceeds the conventional upper bound of $(1+\sqrt{5})/2$, if one part of the objective is linear. This is exactly the problem setting in which the very first convergence analysis of ADMM was conducted by Gabay and Mercier in 1976, but, even under notably stronger assumptions, only the convergence of the primal sequence was known. A collection of illustrative examples are provided to demonstrate the breadth of applications for which our results can be used. Numerical experiments on solving a large number of linear and convex quadratic semidefinite programming problems are conducted to illustrate how the theoretical results established here can lead to improvements on the corresponding practical implementations.

연구 동기 및 목표

• 비정확한 sGS 기반 다중 블록 ADMM와 비정확한 프록시멀 ALM 간의 이론적 등가성을 복합 볼록 프로그래밍 문제에 대해 확립하는 것.
• 스텝 길이 τ가 기존 상한 $(1+\sqrt{5})/2$를 초월할 경우 고전적 ADMM의 전체 수렴 수렴에 대한 열린 문제를 해결하는 것.
• 대규모 선형 및 복합 2차 정수형 정수계획문제(SDP)를 해결하는 데 있어 계산 효율성을 향상시키기 위한 실용적 지침을 제공하는 것.
• 비정확한 보조 문제 해법과 더 큰 스텝 길이를 조합할 경우 ADMM 유형 알고리즘의 수치 성능 향상이 뚜렷하게 이루어질 수 있음을 보여주는 것.

제안 방법

• 동일한 초기점과 파라미터 설정 하에서 비정확한 sGS-ADMM와 비정확한 프록시멀 ALM가 생성하는 반복점이 동일함을 보여줌으로써 등가성을 확립한다.
• 다중 블록 문제를 다루기 위해 대칭 가우스-자이델(sGS) 분해를 활용하고, 보조 문제의 잘 정의됨을 보장하기 위해 프록시멀 항을 도입한다.
• 보조 문제를 허용 오차 수열 $\tilde{\varepsilon}_k$ 를 갖는 비정확한 해법 전략을 적용하여 수렴을 보장하며, 이 수열은 $\alpha \tilde{\varepsilon}_k \leq 1/k^{1.2}$ 를 만족시킨다.
• 소규모 시스템에는 콜레스키 분해를, 대규모 시스템에는 조건부 공액 기울기 또는 프록시멀 기법을 사용하여 알고리즘 프레임워크를 구현한다.
• 수렴 속도 향상을 위해 반복 과정에서 페널티 파라미터 $\sigma$ 를 적응적으로 조정한다.
• 차원 $n$ 이 51에서 501까지 다양하게 변하는 147개의 복합 QSDP 문제 인스턴스에 대해 수치 실험을 수행하였으며, $\mathbfcal{Q}$ 는 대칭화된 크로네커 연산자를 사용하였다.

실험 결과

연구 질문

• RQ1 선형 목표 성분이 있는 두 블록 문제에서 스텝 길이 $\tau$ 가 기존 상한 $(1+\sqrt{5})/2$ 를 초월할 경우 고전적 ADMM이 생성하는 전체 수렴 수렴이 보장되는가?
• RQ2 비정확한 sGS-ADMM가 다중 블록 복합 볼록 최적화 문제에 대해 비정확한 프록시멀 ALM와 이론적으로 연결될 수 있는가?
• RQ3 ADMM에서 보조 문제의 정확한 해법 대비 비정확한 해법을 허용할 경우 계산 효율성이 향상되는가?
• RQ4 특히 선형 목표 항이 존재하는 경우, 수렴성을 해치지 않으면서 ADMM에서 더 큰 스텝 길이($\tau > (1+\sqrt{5})/2$)를 안전하게 사용할 수 있는가?
• RQ5 큰 스텝 길이와 비정확한 보조 문제 해법의 조합이 대규모 복합 2차 정수형 정수계획문제(QSDP) 해결에 실질적인 영향을 미치는가?

주요 결과

• 동일한 초기점과 파라미터 설정 하에서 비정확한 sGS-ADMM와 비정확한 프록시멀 ALM는 동일한 반복점을 생성하며, 이는 공식적인 등가성을 입증한다.
• 목적 함수 성분 중 하나가 선형인 경우, 고전적 ADMM가 $\tau > (1+\sqrt{5})/2$ 인 경우에도 전체 수렴 수렴이 보장됨을 입증하여 오랫동안 미해결이었던 열린 문제를 해결한다.
• sGS-iPADMM는 147개의 복합 QSDP 인스턴스 중 약 65%에서 다른 모든 테스트 알고리즘보다 뛰어난 성능을 보였다.
• sGS-iPADMM에서 비정확한 보조 문제 해법을 사용할 경우, sGS-PADMM의 정확한 보조 문제 해법 대비 뚜렷한 성능 우위를 확보한다.
• 페널티 파라미터 $\sigma$ 와 오차 허용 오차 $\tilde{\varepsilon}_k$ 의 적응적 조정은 수렴 속도와 안정성을 향상시킨다.
• 수치 결과는 큰 스텝 길이($\tau = 1.9$)와 비정확한 보조 문제를 조합할 경우 대규모 복합 QSDP 문제 해결에 있어 뛰어난 계산 효율성을 달성할 수 있음을 확인한다.