[논문 리뷰] A Convergent Proximal Alternating Direction Method of Multipliers for Conic Programming with 4-Block Constraints

Defeng Sun, Kim-Chuan Toh외 1명|arXiv (Cornell University)|2014. 04. 22.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 19

한 줄 요약

이 논문은 4블록 제약 조건을 가진 원뿔 프로그래밍을 위한 수렴성 보장된 프록시멀 ADMM를 제안하며, 이론적 수렴성과 뛰어난 수치 성능을 결합한다. 기존 3블록 프록시멀 ADMM를 4블록으로 확장하여, 550개의 대규모 이중 비음성 SDP 문제에서 직접 확장된 ADMM보다 최소 20% 빠른 수렴 속도를 달성한다.

ABSTRACT

The objective of this paper is to design an efficient and convergent ADMM (alternating direction method of multipliers) type method for finding a solution of medium accuracy to conic programming problems whose constraints consist of linear equalities, linear inequalities, a nonpolyhedral cone and a polyhedral cone. For this class of problems, one may apply the directly extended ADMM to their dual, which can be written in the form of convex programming of four separate blocks in the objective function with a coupling linear equation constraint. Indeed, the directly extended ADMM, though may diverge in theory, performs much better numerically than many of its variants with theoretical convergence guarantee. Ideally, one should find a convergent version that performs at least as efficiently as the directly extended ADMM in practice. We achieve this goal by proposing a convergent (proximal) ADMM first for convex programming problems of three separate blocks in the objective function with the third part being linear and then extend it to the general case. Our extensive numerical tests on the important class of doubly non-negative semidefinite programming (SDP) problems with linear equality and/or inequality constraints demonstrate that our convergent method is at least 20% faster than the directly extended ADMM with unit step-length for the vast majority of about 550 large scale problems tested. This confirms that our ADMM type algorithm can have both theoretical convergence guarantee and superior numerical efficiency over the directly extended ADMM.

연구 동기 및 목표

• 4블록 제약 조건을 가진 원뿔 프로그래밍에서 수치적 효율성과 이론적 수렴성 간 격차를 메우기.
• 직접 확장된 ADMM의 이론적 발산 문제를 극복하면서도 그 뛰어난 수치적 성능를 유지하기.
• 비수렴성 있는 직접 확장 대비 수렴성 보장되면서도 동일하거나 뛰어난 효율성을 유지하는 알고리즘 설계.
• 일반적인 4블록 문제와 혼합 원뿔 제약 조건을 다룰 수 있도록 검증된 3블록 프록시멀 ADMM 프레임워크를 확장하기.
• 대규모 이중 비음성 정준형 프로그래밍 문제에서 제안된 방법의 실용적 우수성을 입증하기.

제안 방법

• 세 번째 블록이 선형인 3블록 볼록 프로그래밍을 위한 프록시멀 ADMM를 제안하며, 프록시멀 정규화를 통해 수렴성을 보장한다.
• 원뿔 프로그래밍의 이중 문제를 선형, 비다각형, 다각형 원뿔 제약 조건을 혼합한 형태로 재구성하여 3블록 방법을 4블록 프레임워크로 확장한다.
• 증강 라그랑지안에 프록시멀 항을 도입하여 반복을 안정화하고 온건한 조건 하에서도 수렴성을 보장한다.
• 계산 효율성을 유지하기 위해 단일 스텝 크기(단위 스텝 크기)를 유지하면서도 수렴성을 보장한다.
• 원뿔 프로그래밍의 이중 문제에 방법을 적용하여, 결합된 선형 등식 제약 조건을 가진 4블록 구조 최적화 문제로 변환한다.
• 각 블록에 대해 프록시멀 업데이트를 포함한 교대 최소화를 수행하여 중간 정밀도의 해로의 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비수렴성 있는 직접 확장된 ADMM의 수치적 효율성과 동등하거나 초월하는 수렴성 보장된 4블록 원뿔 프로그래밍을 위한 ADMM를 설계할 수 있는가?
• RQ2 프록시멀 정규화는 원뿔 최적화를 위한 다블록 ADMM에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 대규모 이중 비음성 SDP 문제에서 제안된 방법이 실제로 직접 확장된 ADMM보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 검증된 3블록 프록시멀 ADMM 프레임워크는 혼합 원뿔 제약 조건을 가진 4블록 문제를 효과적으로 확장할 수 있는가?
• RQ5 기존 ADMM 변형 대비 제안된 방법의 경험적 성능 향상은 수렴 속도와 안정성 측면에서 어느 정도인가?

주요 결과

• 제안된 수렴성 보장된 프록시멀 ADMM는 550개의 대규모 이중 비음성 정준형 프로그래밍 문제에서 단위 스텝 크기로 직접 확장된 ADMM보다 최소 20% 빠른 수렴 속도를 달성한다.
• 알고리즘은 전역 수렴을 보장하면서도 높은 수치적 효율성을 유지하여 직접 확장된 ADMM의 이론적 불안정성 문제를 해결한다.
• 광범위한 수치 실험을 통해 알고리즘이 다양한 대규모 원뿔 프로그래밍 사례에서 안정적이고 확장 가능함을 확인한다.
• 프록시멀 정규화는 계산 속도를 희생시키지 않은 채 ADMM 반복을 효과적으로 안정화시킨다.
• 성능 향상은 대부분의 테스트 문제에서 일관되게 나타나, 광범위한 실용적 적용 가능성을 시사한다.
• 3블록 프록시멀 ADMM는 성공적으로 4블록 문제로 확장되어 복잡한 혼합 제약 조건을 가진 원뿔 프로그래밍에의 응용을 가능하게 한다.