[논문 리뷰] Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights

Caihua Chen, Min Li외 2명|arXiv (Cornell University)|2015. 08. 02.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 8

한 줄 요약

이 논문은 이차 결합 항을 가진 비분리 볼록 최적화 문제에 대해 프록시멀 ADMM와 블록 좌표 강하(BCD)의 수렴성을 확립한다. 2-블록 프록시멀 ADMM는 점별 수렴을 증명하고, 무작위로 순서를 뒤섞은 ADMM(RPADMM)와 BCD(RPBCD)는 기대 수렴을 입증한다. 반복값 유계성 가정 없이 순환 및 무작위 선택 BCD에 대한 최초의 반복 수렴 결과를 제시하며, 잘 구조화된 문제에서는 순환 BCD가 RPBCD를 능가할 수 있음을 드러낸다.

ABSTRACT

In this paper, we establish the convergence of the proximal alternating direction method of multipliers (ADMM) and block coordinate descent (BCD) for nonseparable minimization models with quadratic coupling terms. The novel convergence results presented in this paper answer several open questions that have been the subject of considerable discussion. We firstly extend the 2-block proximal ADMM to linearly constrained convex optimization with a coupled quadratic objective function, an area where theoretical understanding is currently lacking, and prove that the sequence generated by the proximal ADMM converges in point-wise manner to a primal-dual solution pair. Moreover, we apply randomly permuted ADMM (RPADMM) to nonseparable multi-block convex optimization, and prove its expected convergence for a class of nonseparable quadratic programming problems. When the linear constraint vanishes, the 2-block proximal ADMM and RPADMM reduce to the 2-block cyclic proximal BCD method and randomly permuted BCD (RPBCD). Our study provides the first iterate convergence result for 2-block cyclic proximal BCD without assuming the boundedness of the iterates. We also theoretically establish the expected iterate convergence result concerning multi-block RPBCD for convex quadratic optimization. In addition, we demonstrate that RPBCD may have a worse convergence rate than cyclic proximal BCD for 2-block convex quadratic minimization problems. Although the results on RPADMM and RPBCD are restricted to quadratic minimization models, they provide some interesting insights: 1) random permutation makes ADMM and BCD more robust for multi-block convex minimization problems; 2) cyclic BCD may outperform RPBCD for "nice" problems, and therefore RPBCD should be applied with caution when solving general convex optimization problems.

연구 동기 및 목표

• 이차 결합 항이 있는 비분리 볼록 최소화 모델에 대해 프록시멀 ADMM와 BCD의 수렴성을 확립하기.
• 목적 함수가 결합된 이차 항으로 인해 비분리가 되는 다중블록 ADMM와 BCD의 수렴에 대한 열린 문제를 해결하기.
• 이차 최적화 문제에서 순환과 무작위로 순서를 뒤섞은 업데이트 간의 성능 차이를 분석하기.
• 반복값 유계성 가정 없이 2-블록 순환 프록시멀 BCD에 대한 최초의 반복 수렴 결과를 제공하기.
• 블록 최적화 방법에서 무작위 순서 변경과 순환 업데이트의 상대적 성능 및 내성에 대한 이론적 통찰 제공하기.

제안 방법

• 이차 목표 함수를 가진 선형 제약 조건이 있는 볼록 최적화에 대해 2-블록 프록시멀 ADMM를 확장하며, 가우스-세이델 업데이트와 프록시멀 정규화를 사용한다.
• 다중블록 문제에 대해 무작위로 순서를 뒤섞은 ADMM(RPADMM)를 적용하고, 비분리 이차 프로그래밍 문제의 일부 클래스에 대해 기대 수렴을 증명한다.
• 선형 제약 조건이 사라질 경우 2-블록 프록시멀 ADMM와 RPADMM를 순환 및 무작위로 순서를 뒤섞은 BCD(RPBCD)로 환원한다.
• 헤시안과 업데이트 행렬의 구조적 성질을 증명하기 위해 행렬 분석과 고유값 분해를 사용한다.
• 수학적 귀납법과 행렬식 분석을 활용해 반복 행렬의 특성 방정식 내 다항식 구조를 확립한다.
• 블록 행렬의 질서 성질을 분석해 영공간 차원의 동치성을 증명함으로써 수렴 증명을 뒷받침한다.

실험 결과

연구 질문

• RQ1 이차 결합 항이 있는 비분리 볼록 최소화 문제에 대해 2-블록 프록시멀 ADMM는 수렴하는가?
• RQ2 무작위로 순서를 뒤섞은 ADMM(RPADMM)는 비분리 다중블록 이차 프로그래밍 문제에서 기대 수렴을 달성할 수 있는가?
• RQ3 반복값이 유계임을 가정하지 않고도 순환 프록시멀 BCD에 수렴 보장이 가능한가?
• RQ4 다중블록 볼록 이차 최적화 문제에서 RPBCD는 기대 수렴이 보장되는가?
• RQ5 잘 구조화된 문제에서 RPBCD의 수렴 속도는 순환 BCD보다 빠른가?

주요 결과

• 2-블록 프록시멀 ADMM는 이차 결합 항이 있는 비분리 볼록 문제에 대해 점별 수렴하여 원시-이중 해 쌍에 수렴한다.
• RPADMM는 비분리 이차 프로그래밍 문제의 일부 클래스에 대해 기대 수렴을 달성한다.
• 반복값 유계성 가정 없이 2-블록 순환 프록시멀 BCD에 대한 최초의 반복 수렴 결과가 확립된다.
• 다중블록 RPBCD에 대해 볼록 이차 최적화 문제에서 기대 반복 수렴이 증명된다.
• 2-블록 볼록 이차 최적화 문제에서 RPBCD는 순환 BCD보다 더 느리게 수렴할 수 있으며, 이는 '좋은' 문제에서는 순환 업데이트가 더 효과적일 수 있음을 시사한다.
• 무작위 순서 변경은 다중블록 ADMM와 BCD의 강건성을 향상시키지만, 구조화된 문제에서는 성능을 떨어뜨릴 수 있으므로 주의 깊게 사용해야 한다.