[논문 리뷰] Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers

Xiangfeng Wang, Mingyi Hong외 2명|arXiv (Cornell University)|2013. 08. 24.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 87

한 줄 요약

이 논문은 다중 블록 분리 가능한 볼록 최적화 문제를 원래의 이중 또는 이중 영역에서 등가의 이중 블록 형태로 재구성함으로써, 다중 블록 분리 가능한 볼록 최적화 문제를 해결하기 위한 새로운 이중 블록 ADMM 방법을 제안한다. 이 방법은 기존의 표준 다중 블록 ADMM에 비해 이론적 수렴 보장을 갖지 못하나, 향상된 O(1/ε) 반복 복잡도를 달성하고 우수한 수치 성능을 보여준다.

ABSTRACT

In this paper, we consider solving multiple-block separable convex minimization problems using alternating direction method of multipliers (ADMM). Motivated by the fact that the existing convergence theory for ADMM is mostly limited to the two-block case, we analyze in this paper, both theoretically and numerically, a new strategy that first transforms a multi-block problem into an equivalent two-block problem (either in the primal domain or in the dual domain) and then solves it using the standard two-block ADMM. In particular, we derive convergence results for this two-block ADMM approach to solve multi-block separable convex minimization problems, including an improved O(1/ε) iteration complexity result. Moreover, we compare the numerical efficiency of this approach with the standard multi-block ADMM on several separable convex minimization problems which include basis pursuit, robust principal component analysis and latent variable Gaussian graphical model selection. The numerical results show that the multiple-block ADMM, although lacks theoretical convergence guarantees, typically outperforms two-block ADMMs.

연구 동기 및 목표

• 표준 다중 블록 ADMM가 다중 블록 분리 가능한 볼록 최소화 문제를 해결할 때 수렴 보장이 부족한 문제를 해결하기 위해.
• 다중 블록 문제를 원래의 또는 이중 영역에서 등가의 이중 블록 형태로 변환하는 이중 블록 ADMM 프레임워크를 개발하기 위해.
• 제안된 이중 블록 ADMM 방법에 대해 이론적 수렴성과 향상된 반복 복잡도를 확립하기 위해.
• 실세계 문제에 대해 표준 다중 블록 ADMM와 비교하여 이중 블록 ADMM의 효율성을 수치적으로 평가하기 위해.
• 자주 수치적으로 잘 작동하지만 수렴 증명이 없는 다중 블록 ADMM에 대한 실용적이고 이론적으로 타당한 대안을 제공하기 위해.

제안 방법

• 변수를 원래 영역 또는 이중 영역에서 집계함으로써 다중 블록 문제를 등가의 이중 블록 문제로 재구성한다.
• 이러한 변환된 이중 블록 문제에 표준 이중 블록 ADMM를 적용하여, 해당 경우에 대해 기존의 수렴 이론을 활용한다.
• 하위문제의 수렴성과 안정성을 보장하기 위해 양의 정부호 행렬을 갖는 프록시멀 항을 사용한다.
• 이론적 분석을 통해 이중 블록 ADMM에 대해 O(1/ε) 반복 복잡도 상한을 확립한다. 이는 이전 결과보다 향상된 것이다.
• 프록시멀 연산자와 이중 상승 단계를 통해 비미분 가능하고 비볼록 성분을 처리한다.
• 수치 실험을 통해 기저 추구, 강건한 주성분 분석, 잠재변수 가우시안 그래픽 모델에서 표준 다중 블록 ADMM와 이중 블록 ADMM를 비교한다.

실험 결과

연구 질문

• RQ1 문제 재구성에 의해 다중 블록 분리 가능한 볼록 문제는 이중 블록 ADMM 프레임워크를 통해 효과적으로 해결될 수 있는가?
• RQ2 제안된 이중 블록 ADMM 방법의 수렴 행동과 반복 복잡도는 무엇인가?
• RQ3 이론적 수렴 보장이 없는 표준 다중 블록 ADMM와 비교하여 이중 블록 ADMM의 수치 성능는 어떠한가?
• RQ4 이중 영역에서의 재구성은 원래 영역에서의 재구성보다 더 나은 수렴성 또는 효율성을 제공하는가?
• RQ5 기존의 ADMM 변형에 비해 제안된 방법이 향상된 반복 복잡도를 달성할 수 있는가?

주요 결과

• 제안된 이중 블록 ADMM는 다중 블록 분리 가능한 볼록 최소화 문제 해결에 대해 향상된 O(1/ε) 반복 복잡도를 달성한다.
• 표준 다중 블록 ADMM가 수렴 보장을 갖지 못함에도 불구하고 수렴성이 보장되는 반면, 이는 이론적으로 수렴성이 보장되는 반면, 표준 다중 블록 ADMM는 강력한 수치 성능를 보이지만 수렴 보장이 없다.
• 수치 결과는 이중 블록 ADMM가 기저 추구, 강건한 주성분 분석, 잠재변수 가우시안 그래픽 모델 선택 문제에서 수렴 속도 측면에서 표준 다중 블록 ADMM를 능가함을 보여준다.
• 다중 블록 문제를 이중 영역에서 이중 블록 형태로 재구성하는 것은 원래 영역 버전보다 더 안정적이고 효율적인 반복을 이끈다.
• 정확한 버전과 비정확한 버전 모두에 대해 수렴 분석이 유효하며, 적절한 프록시멀 항이 수렴을 보장한다.
• 반복 복잡도에 대한 이론적 상한은 날카롭고, 이중 블록 경우에서 ADMM에 대해 알려진 최고의 비율과 일치한다.