[논문 리뷰] A Convergent 3-Block Semi-Proximal Alternating Direction Method of Multipliers for Conic Programming with $4$-Type of Constraints

Defeng Sun, Kim-Chuan Toh외 1명|arXiv (Cornell University)|2014. 04. 22.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 49

한 줄 요약

이 논문은 네 가지 제약 유형(선형 등식, 부등식, 비다각형 원뿔, 다각형 원뿔)을 가진 원뿔 프로그래밍을 위한 수렴성 보장된 3블록 준가까이 ADMM(sPADMM3c)를 제안한다. 기존로 직접 확장된 ADMM는 수렴하지 않지만, 본 논문은 새로운 1→3→2→3 블록 순차 갱신 순서를 통해 수렴성을 확보하면서도 성능을 20% 이상 향상시켰다. 550개의 대규모 이중 비음성 양의 정부호 SDP 문제에서 최소 20% 빠른 성능을 기록하여 이론적 수렴성과 실용적 효율성 사이의 상충관계를 해결하였다.

ABSTRACT

The objective of this paper is to design an efficient and convergent alternating direction method of multipliers (ADMM) for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a non-polyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming with four separable blocks in the objective function and a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, often performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent variant which is at least as efficient as the directly extended ADMM in practice. We achieve this goal by designing a convergent semi-proximal ADMM (called sPADMM3c for convenience) for convex programming problems having three separable blocks in the objective function with the third part being linear. At each iteration, the proposed sPADMM3c takes one special block coordinate descent (BCD) cycle with the order $1 ightarrow 3 ightarrow 2 ightarrow 3$, instead of the usual $1 ightarrow 2 ightarrow 3$ Gauss-Seidel BCD cycle used in the non-convergent directly extended $3$-block ADMM, for updating the variable blocks. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least $20%$ faster than the directly extended ADMM with unit step-length for the vast majority of about $550$ large scale problems tested.

연구 동기 및 목표

• 선형 등식, 부등식, 비다각형 원뿔, 다각형 원뿔의 네 가지 제약 유형을 가진 원뿔 프로그래밍을 위한 수렴성 보장된 ADMM 변형을 설계한다.
• 특히 3블록 문제에 대해 다중 블록 ADMM 방법에서 실용적 효율성과 이론적 수렴성 사이의 격차를 해소한다.
• 수렴을 보장하면서도 높은 수치적 효율성을 유지하는 방법을 개발하여 직접 확장된 ADMM의 발산 문제를 극복한다.
• 특히 이중 비음성 양의 정부호 SDP 문제에 적합한 신뢰성 있고 빠르며 수렴 보장되는 1차 방법을 제공함으로써 중간 정확도 해를 위한 효율적인 최적화 도구를 확보한다.
• 대규모 원뿔 프로그래밍 문제에서 고속 국소 최적화 솔버의 웜스타트(warm-start)로 사용할 수 있도록 한다.

제안 방법

• 원뿔 프로그래밍의 이중 문제에 준가까이 ADMM 프레임워크를 적용하여, 결합된 선형 등식 제약 조건을 가진 4블록 분리 가능한 볼록 최적화 문제로 재구성한다.
• 표준 1→2→3 가우스-세이델 순서 대신, 수렴성을 보장하면서도 효율성을 유지하기 위해 새로운 블록 갱신 순서 1→3→2→3를 사용한다.
• 반복을 안정화하고 수렴성을 확보하기 위해 프록시멀 항을 도입하며, 원뿔 위로의 투영 연산에 대해 모레우 분해 정리를 활용한다.
• 증강 라그랑지안 내에서 비다각형 원뿔(예: 양의 정부호 행렬)과 다각형 원뿔(예: 음이 아닌 원소)을 각각 거리 투영과 지표 함수를 통해 처리한다.
• 문제 노름에 기반한 상대 잔차를 스케일링하여 타당성, 최적성, 이중성 갭 기반의 적응형 정지 기준을 구현한다.
• 이중 비음성 양의 정부호 SDP 문제에 대해 추가적인 행렬 변수를 도입하여 음이 아닌 제약과 양의 정부호 제약을 분리함으로써 4블록 형태로 재구성한다.

실험 결과

연구 질문

• RQ1 원뿔 프로그래밍 문제에 대해 직접 확장된 ADMM가 수렴하지 않지만, 수렴성 보장과 실용적 효율성을 동시에 확보하는 3블록 ADMM를 설계할 수 있는가?
• RQ2 비표준 블록 갱신 순서(1→3→2→3)가 실용적 성능을 유지하거나 향상시키면서도 수렴성을 보장하는가?
• RQ3 이러한 방법이 대규모 원뿔 프로그래밍 문제에서 표준 단위 스텝 길이를 가진 직접 확장된 ADMM보다 빠르고 신뢰성 있는가?
• RQ4 제안된 방법이 대규모 원뿔 프로그래밍 문제에서 고속 국소 최적화 방법의 웜스타트로 적합한가?
• RQ5 ADMM 프레임워크 내에서 준가까이 항을 사용함으로써 계산 효율성을 희생시키지 않고도 수렴성을 보장할 수 있는가?

주요 결과

• 제안된 sPADMM3c 방법은 550개의 대규모 이중 비음성 양의 정부호 SDP 문제에서 단위 스텝 길이를 가진 직접 확장된 ADMM보다 최소 20% 빠른 성능을 기록한다.
• sPadmm 4d와 sPadmm 4d(1)보다도 sPADMM3c가 더 효율적이며, 후자는 최적 스텝 길이 τ=1.618를 사용한다.
• 성능 프로파일 분석 결과, 대부분의 테스트 문제에서 sPADMM3c는 τ=1.618를 사용한 sPadmm 4d보다 더 적은 반복 수를 요구한다.
• 추가 행렬 변수로 인한 약간의 오버헤드가 존재하지만, 수렴 성능 향상 덕분에 전체적으로 더 빠른 성능을 기록한다.
• 모든 테스트 문제에서 상대 갭과 타당성 잔차가 10−5 이하로 유지되어 강건성을 확인하였다.
• 철저히 설계된 블록 좌표 강하 순서가 다중 블록 ADMM에서 이론적 수렴성과 뛰어난 수치적 효율성을 동시에 달성할 수 있음을 확인하였다.