[논문 리뷰] Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming

Deren Han, Defeng Sun외 1명|arXiv (Cornell University)|2015. 08. 10.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 25

한 줄 요약

이 논문은 강한 볼록성 또는 엄격한 보완성 조건을 요구하지 않고, 오차 유계 조건 하에서 복합 쿼드라틱 및 준정형 프로그래밍에 대한 반-근접 ADMM의 전역 선형 수렴 속도를 확립한다. 주요 기여는 이차 충분성 최적성과 엄격한 로빈슨 제약 조건을 통한 고립된 안정성의 완전한 특성화로, 이는 이중 및 다중 블록 문제에 대한 선형 수렴 가능성을 보장한다.

ABSTRACT

In this paper, we aim to provide a comprehensive analysis on the linear rate convergence of the alternating direction method of multipliers (ADMM) for solving linearly constrained convex composite optimization problems. Under a certain error bound condition, we establish the global linear rate of convergence for a more general semi-proximal ADMM with the dual steplength being restricted to be in the open interval $(0, (1+\sqrt{5})/2)$. In our analysis, we assume neither the strong convexity nor the strict complementarity except an error bound condition, which holds automatically for convex composite quadratic programming. This semi-proximal ADMM, which includes the classic ADMM, not only has the advantage to resolve the potentially non-solvability issue of the subproblems in the classic ADMM but also possesses the abilities of handling multi-block convex optimization problems efficiently. We shall use convex composite quadratic programming and quadratic semi-definite programming as important applications to demonstrate the significance of the obtained results. Of its own novelty in second-order variational analysis, a complete characterization is provided on the isolated calmness for the nonlinear convex semi-definite optimization problem in terms of its second order sufficient optimality condition and the strict Robinson constraint qualification for the purpose of proving the linear rate convergence of the semi-proximal ADMM when applied to two- and multi-block convex quadratic semi-definite programming.

연구 동기 및 목표

• 선형 제약 조건을 가진 복합 볼록 최적화 문제에 대한 반-근접 ADMM의 전역 선형 수렴 속도를 확립하는 것.
• 이전 연구에서 흔히 사용되는 강한 볼록성 또는 엄격한 보완성을 가정하지 않고 수렴성을 분석하는 것.
• 복합 준정형 최적화 문제에 대한 이차 변분 분석에서 고립된 안정성의 완전한 특성화를 제공하는 것.
• 복합 쿼드라틱 및 준정형 프로그래밍에 대한 결과의 적용 가능성과 중요성을 입증하는 것.
• 비다각형 콘형 최적화 문제로의 선형 수렴 분석 확장을 위한 기반을 마련하는 것.

제안 방법

• 기존 ADMM를 일반화하여 이중 단계 길이를 (0, (1+√5)/2) 범위 내에서 허용하는 반-근접 ADMM(sPADMM) 프레임워크에 기반한 분석.
• 하위문제의 해법 가능성과 안정성을 보장하기 위해 프록시멀 항을 포함한 증강 라그랑주 함수를 활용하는 방법.
• 핵심 기술적 도구로는 강한 볼록성을 대체하여 선형 수렴 분석을 가능하게 하는 오차 유계 조건.
• 이차 충분성 최적성 조건과 엄격한 로빈슨 제약 조건을 사용하여 KKT 사상의 고립된 안정성 특성화.
• 이차 최적성, 엄격한 제약 조건 충족 조건, 그리고 역 KKT 사상의 고립된 안정성 간의 동치성은 엄밀하게 증명됨.
• 이 분석은 이중 및 다중 블록 복합 쿼드라틱 준정형 프로그래밍에 적용되어 실용적 관련성을 입증함.

실험 결과

연구 질문

• RQ1 반-근접 ADMM가 복합 쿼드라틱 및 준정형 프로그래밍에 대해 전역 선형 수렴을 달성할 수 있는 조건은 무엇인가?
• RQ2 강한 볼록성 또는 엄격한 보완성을 가정하지 않고도 선형 수렴을 확립할 수 있는가?
• RQ3 오차 유계 조건이 sPADMM의 선형 수렴을 보장하는 데 수행하는 정확한 역할은 무엇인가?
• RQ4 이차 충분성 최적성과 엄격한 로빈슨 제약 조건은 KKT 사상의 고립된 안정성과 어떻게 관련되어 있는가?
• RQ5 이 수렴 분석은 양의 준정형 콘 이외의 비다각형 콘형 최적화 문제로 확장될 수 있는가?

주요 결과

• sPADMM는 오차 유계 조건 하에서 강한 볼록성 또는 엄격한 보완성이 없더라도 전역 선형 수렴을 달성한다.
• 오차 유계 조건은 복합 쿼드라틱 프로그래밍의 경우 자동으로 성립하므로, 이 경우 선형 수렴이 보장된다.
• KKT 사상의 고립된 안정성은 이차 충분성 최적성과 엄격한 로빈슨 제약 조건의 동시 만족과 동치이다.
• 이차 최적성, 제약 조건 충족 조건, 고립된 안정성 간의 동치성은 복합 준정형 최적화 문제에서 선형 수렴의 완전한 특성화를 제공한다.
• 이 분석은 이중 블록 및 다중 블록 복합 쿼드라틱 준정형 프로그래밍에 모두 적용 가능하여 광범위한 적용 가능성을 보여준다.
• 결과는 비정확한 sPADMM 및 기타 비다각형 콘형 문제로의 선형 수렴 분석 확장을 위한 기반을 마련한다.