[논문 리뷰] On the Duality Gap Convergence of ADMM Methods

Da Tang, Tong Zhang|arXiv (Cornell University)|2015. 08. 15.

Matrix Theory and Algorithms참고 문헌 14인용 수 3

한 줄 요약

이 논문은 부드럽고 강하게 볼록 조건 하에서 표준 ADMM와 선형화된 ADMM의 이중성 간격 수렴 분석을 제공한다. 표준 ADMM가 선형화된 ADMM의 $1 - \Theta(\lambda\gamma)$보다 더 빠른 선형 수렴 속도 $1 - \Theta(\sqrt{\lambda\gamma})$를 달성함을 증명하며, 일치하는 하한값과 수치적 검증을 통해 ADMM의 우수한 성능을 입증한다. 특히 최적의 파arameter 조정에서 두드러진다.

ABSTRACT

This paper provides a duality gap convergence analysis for the standard ADMM as well as a linearized version of ADMM. It is shown that under appropriate conditions, both methods achieve linear convergence. However, the standard ADMM achieves a faster accelerated convergence rate than that of the linearized ADMM. A simple numerical example is used to illustrate the difference in convergence behavior.

연구 동기 및 목표

• 최적화 분야에서 일반적인 가정 하에서 표준 ADMM와 선형화된 ADMM의 이중성 간격 수렴을 분석하는 것.
• 부드럽고 강하게 볼록 문제에 대해 두 방법의 최악의 경우 선형 수렴 속도를 비교하는 것.
• 이론적 수렴 속도 차이를 확인하기 위해 일치하는 하한값을 수립하는 것.
• 다양한 페널티 파rameter $\rho$를 사용한 수치 예제를 통해 수렴 행동의 차이를 시각화하는 것.
• 표준 ADMM가 본질적으로 더 빠른 수렴 속도를 가지므로, 네스테로프 가속이 필요하지 않음을 보여주는 것.

제안 방법

• 이중성 간격 수렴을 분석하기 위해 원시-이중성 접근법을 사용하여, 원시 목적함수와 이중성 간격의 수렴을 직접적으로 경계한다.
• 행렬 $A$ 가 역행렬이 있고, $g$ 가 $\lambda$-강하게 볼록이며, $\phi$ 가 $1/\gamma$-부드럽다는 가정 하에 표준 ADMM와 선형화된 ADMM의 최악의 경우 선형 수렴 속도를 유도한다.
• 선형화된 반복 행렬의 고유값 분석을 통해 수렴 속도 경계를 유도하며, 표준 ADMM의 경우 수렴 속도가 $\sqrt{\lambda\gamma}$ 에 의존하고, 선형화된 ADMM의 경우 $\lambda\gamma$ 에 의존함을 보여준다.
• 특히 $v^\top B^\top B v$ 를 $v^\top v$ 로 대체함으로써 하위문제를 단순화하는 데 목적이 있는 대칭 양의 정부호 행렬 $G$ 및 $H$ 를 이용한 전처리를 도입한다.
• 부드러움과 강한 볼록성을 만족시키는 $\phi(w)$ 와 $g(v)$ 를 정의한 1차원 테스트 문제를 사용하여 수렴 속도를 명시적으로 계산할 수 있도록 한다.
• 오차 $\sqrt{w^2 + v^2}$ 를 사용하여 다양한 $\rho$ 값에서의 수렴 행동을 비교함으로써, ADMM가 $\rho$ 에 민감하며 최적의 $\rho$ 에서 더 빠른 수렴을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 부드럽고 강하게 볼록 문제에 대해 표준 ADMM의 최악의 경우 선형 수렴 속도는 무엇인가?
• RQ2 동일한 가정 하에서 선형화된 ADMM의 수렴 속도는 표준 ADMM보다 어떻게 다른가?
• RQ3 두 방법 간의 이론적 수렴 속도 차이를 확인하기 위해 일치하는 하한값을 구성할 수 있는가?
• RQ4 다양한 페널티 파arameter $\rho$ 는 실질적인 수렴 행동에 어떻게 영향을 미치는가?
• RQ5 표준 ADMM가 본질적으로 더 빠른 수렴 속도를 가지므로, 네스테로프 가속이 필요한가?

주요 결과

• 최적의 $\rho$ 선택 하에서 표준 ADMM는 $1 - \Theta(\sqrt{\lambda\gamma})$ 의 최악의 경우 선형 수렴 속도를 달성하며, 이는 선형화된 ADMM의 $1 - \Theta(\lambda\gamma)$ 보다 더 빠르다.
• 특정 문제 사례에 대해 구성된 일치하는 하한값을 통해 수렴 속도의 차이가 확인된다.
• 수치 결과는 ADMM가 선형화된 ADMM보다 상당히 더 빠르게 수렴함을 보여주며, 특히 $\rho$ 가 최적화된 경우 두드러진다.
• $\gamma = 0.1$, $\lambda = \mu = 0.2$ 인 경우, $\rho = \sqrt{\lambda/\gamma}$ 에서 ADMM의 수렴 속도는 0.21이며, 동일한 $\rho$ 에서 선형화된 ADMM는 0.53에 도달함을 보여주며, ADMM의 우월성을 입증한다.
• $\gamma = \lambda = \mu = 1$ 인 경우, 최적의 $\rho$ 에서 ADMM는 0.49의 수렴 속도를 달성하고, 선형화된 ADMM는 0.69에 도달함을 보여주며, 다시 한번 ADMM의 더 빠른 수렴을 확인한다.
• 결과는 표준 ADMM가 부드럽고 강하게 볼록 문제에 대해 $\sqrt{\lambda\gamma}$-속도를 이미 달성하므로, 이론적으로 네스테로프 가속이 필요하지 않음을 시사한다.