[논문 리뷰] Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems

Tianyi Lin, Shiqian Ma외 1명|arXiv (Cornell University)|2015. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 6

한 줄 요약

이 논문은 세 번째 블록의 목적 함수가 매끄럽고 강하게 볼록하며 조건수[1, 1.0798)인 볼록 최소화 문제의 일군의 클래스에 대해 수정되지 않은 3블록 ADMM의 전역 수렴성을 확립한다. 추가적인 온건한 가정 하에, 주요 기여는 3블록 ADMM가 임의의 페널티 파rameter γ > 0에 대해 수렴함을 증명한 것으로, 이는 이전 결과들과는 달리 γ의 상한 제약 없이 작동함을 의미한다. 이는 실용적 효율성을 제한하는 요건을 완화한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) has been successfully applied to solve structured convex optimization problems due to its superior practical performance. The convergence properties of the 2-block ADMM have been studied extensively in the literature. Specifically, it has been proven that the 2-block ADMM globally converges for any penalty parameter $γ>0$. In this sense, the 2-block ADMM allows the parameter to be free, i.e., there is no need to restrict the value for the parameter when implementing this algorithm in order to ensure convergence. However, for the 3-block ADMM, Chen \etal \cite{Chen-admm-failure-2013} recently constructed a counter-example showing that it can diverge if no further condition is imposed. The existing results on studying further sufficient conditions on guaranteeing the convergence of the 3-block ADMM usually require $γ$ to be smaller than a certain bound, which is usually either difficult to compute or too small to make it a practical algorithm. In this paper, we show that the 3-block ADMM still globally converges with any penalty parameter $γ>0$ if the third function $f_3$ in the objective is smooth and strongly convex, and its condition number is in $[1,1.0798)$, besides some other mild conditions. This requirement covers an important class of problems to be called regularized least squares decomposition (RLSD) in this paper.

연구 동기 및 목표

• 수렴을 제약 없이 보장하기 위해 페널티 파rameter γ를 상한으로 제한하지 않는 조건 하에서 3블록 ADMM가 전역 수렴할 수 있는지 여부라는 열린 문제를 해결하기 위해.
• 임의의 γ > 0에 대해 3블록 ADMM가 전역 수렴하는 데 필요한 충분조건을 규명함으로써, 파rameter 제약 없는 수렴을 달성하기 위해.
• 기존에 임의의 γ > 0에 대해 전역 수렴을 보장하는 것으로 알려진 2블록 ADMM의 수렴 보장을, 세 번째 함수 f₃에 특정한 구조적 가정을 두었을 때 3블록 경우로 확장하기 위해.
• 3블록 ADMM가 임의의 γ > 0에 대해 전역 수렴하는 자연스러운 문제 클래스를 규명하고 분석하기 위해, 이를 Regularized Least Squares Decomposition(RLSD)라 명명한다.

제안 방법

• 저자는 세 개의 블록으로 구성된 구조화된 볼록 최적화 문제에 대해 3블록 ADMM를 분석하며, 여기서 세 번째 함수 f₃는 조건수[1, 1.0798) 범위 내에서 매끄럽고 강하게 볼록하다.
• 리아프노프 함수 접근법을 사용하여 수렴 보장을 도출하며, 제시된 조건 하에서 각 반복 단계에서 보정 라그랑지안이 충분히 감소함을 보여준다.
• 이 방법은 보정 라그랑지안의 감소 성질을 분석하고, 반복 수열이 유계이면서 해로 수렴함을 증명하는 데 기반한다.
• 이 proof 기법은 이전의 ADMM 수렴 프레임워크를 확장하며, f₃의 강한 볼록성과 매끄러움을 통합하여 이중 업데이트를 제어하고 전역 수렴을 보장한다.
• 분석은 A₃ = I로 가정하고 제약 집합에서 변수 x₃를 제거함으로써 구조를 단순화하여 f₃의 역할에 집중한다.
• 저자는 보정 라그랑지안과 f₃의 강한 볼록성과 관련된 이차항을 조합한 새로운 잠재 함수를 사용하여 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 f₃가 매끄럽고 강하게 볼록하며 조건수가 [1, 1.0798)이면, γ > 0에 대해 임의의 페널티 파rameter를 사용할 수 있을까? 즉, γ의 상한 제약 없이 3블록 ADMM가 전역 수렴할 수 있는가?
• RQ2 세 번째 블록의 목적 함수 f₃에 대해 어떤 구조적 조건이 임의의 γ > 0에 대해 3블록 ADMM의 전역 수렴을 보장하는가?
• RQ3 f₃의 조건수가 3블록 ADMM의 파rameter 제약 없는 수렴을 가능하게 하는 데 핵심적인 역할을 하는가?
• RQ4 3블록 ADMM가 임의의 γ > 0에 대해 전역 수렴하는 자연스러운 문제 클래스가 존재하는가? 이는 실용적 효율성을 보장한다.

주요 결과

• f₃가 매끄럽고 강하게 볼록하며 조건수가 [1, 1.0798)이면, 온건한 가정 하에 임의의 γ > 0에 대해 3블록 ADMM가 전역 수렴한다.
• 이 결과는 γ에 상한 제약 없이 수정되지 않은 3블록 ADMM에 대한 첫 번째 전역 수렴 보장을 확립하며, 이는 이전 연구의 핵심적 한계를 해결한다.
• A₃ = I 이고 x₃가 제약되지 않은 조건 하에서 수렴이 입증되었으며, 이는 f₃의 강한 볼록성과 매끄러움의 역할에 집중한 분석의 기반이다.
• 이 방법은 많은 실세계 애플리케이션을 포함하는, 보통의 문제 클래스인 Regularized Least Squares Decomposition(RLSD)에 적용 가능하다.
• 수치 실험 결과, γ = 0.7과 γ = 1.2를 사용할 때 3블록 ADMM가 다양한 문제 크기에서 안정적으로 수렴함을 확인하였으며, 반복 횟수와 CPU 시간은 중간 정도로 증가한다.
• 반면, 2블록 ADMM 변형은 γ가 임계값을 초과할 경우 더 큰 문제에서 발산하거나 정체됨을 보여주며, 이는 f₃에 대한 제안된 조건의 중요성을 강조한다.