[논문 리뷰] On the Sublinear Convergence Rate of Multi-Block ADMM

Tianyi Lin, Shiqian Ma외 1명|arXiv (Cornell University)|2014. 08. 19.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 16

한 줄 요약

이 논문은 가벼운 조건 하에서 표준 다중 블록 ADMM(N ≥ 3)에 대해 처음으로 비선형 수렴 속도를 확립한다: 한 함수는 볼록이고 나머지 N−1개는 강한 볼록이며, 패널티 매개수는 특정 범위 내에 있어야 한다. 이는 O(1/t)의 평균 수렴 속도와 o(1/t)의 비평균 수렴 속도를 증명하여 실용적인 다중 블록 ADMM 응용에서 오랫동안 남아있던 수렴 불확실성을 해결한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems. Despite of its success in practice, the convergence properties of the standard ADMM for minimizing the sum of $N$ $(N\geq 3)$ convex functions with $N$ block variables linked by linear constraints, have remained unclear for a very long time. In this paper, we present convergence and convergence rate results for the standard ADMM applied to solve $N$-block $(N\geq 3)$ convex minimization problem, under the condition that one of these functions is convex (not necessarily strongly convex) and the other $N-1$ functions are strongly convex. Specifically, in that case the ADMM is proven to converge with rate $O(1/t)$ in a certain ergodic sense, and $o(1/t)$ in non-ergodic sense, where $t$ denotes the number of iterations. As a by-product, we also provide a simple proof for the $O(1/t)$ convergence rate of two-block ADMM in terms of both objective error and constraint violation, without assuming any condition on the penalty parameter and strong convexity on the functions.

연구 동기 및 목표

• 표준 다중 블록 ADMM(N ≥ 3)에 대한 오랫동안 열려있던 수렴 문제를 해결하기 위해, 실험적으로 성공적이지만 이론적으로 불확실한 상황을 해결한다.
• 표준 ADMM이 N ≥ 3일 때 수렴 가능할 충분한 조건을 규명하여, 정량화된 비선형 수렴 속도를 확보한다.
• 강한 볼록성 또는 패널티 매개수 제약 조건 없이도 두 블록 ADMM의 O(1/t) 수렴 속도를 위한 단순하고 통합된 증명을 제공한다.
• 에르고딕 및 비에르고딕 두 가지 관점에서 다중 블록 ADMM의 수렴 보장을 확립하여, 이론적 이해의 핵심적 격차를 메운다.

제안 방법

• 다중 블록 ADMM에 특화된 가중합으로 구성된 새로운 리아푸노프 함수를 제안한다: 원시 타당성, 이중 비타당성, 목적함수 갭을 포함한다.
• 하나의 핵심 부등식(Lemma 3.1)을 도입하여, 하위문제의 최적성 조건을 이용해 리아푸노프 함수의 감소를 한 단계당 유계화한다.
• 리아푸노프 함수에 대한 재귀 부등식을 유도하여, 수축합(summation)을 가능하게 하여 수렴 속도 분석을 가능하게 한다.
• 에르고딕 반복 평균을 적용하여 목적함수 오차 및 제약 위반에 대해 O(1/t)의 수렴 속도를 달성한다.
• 비에르고딕 분석을 적용하여 o(1/t) 수렴 속도를 보여주며, 특정 경우에서 에르고딕 수렴 속도를 초월한다.
• 패널티 매개수와 강한 볼록성 매개수를 이용해 이중성 갭과 타당성 위반을 유계화함으로써 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 표준 다중 블록 ADMM(N ≥ 3)가 어떤 조건에서 비선형 수렴 속도로 수렴할 수 있는가?
• RQ2 모든 함수가 강한 볼록성이 필요 없이도 다중 블록 ADMM의 수렴 속도를 분석할 수 있는가?
• RQ3 패널티 매개수와 다중 블록 ADMM의 수렴 간 정확한 관계는 무엇인가?
• RQ4 강한 볼록성 가정 없이도 두 블록 ADMM의 O(1/t) 수렴 속도에 대한 단순한 증명을 제공할 수 있는가?
• RQ5 다중 블록 ADMM 설정에서 에르고딕 수렴 속도와 비에르고딕 수렴 속도는 어떻게 비교되는가?

주요 결과

• 한 함수가 볼록이고 나머지 N−1개가 강한 볼록일 경우, 패널티 매개수가 특정 유계 영역 내에 있을 때 표준 다중 블록 ADMM는 O(1/t)의 에르고딕 수렴 속도로 수렴한다.
• 비에르고딕 반복은 o(1/t)의 속도로 수렴하며, 이는 점별 수렴 측면에서 에르고딕 수렴 속도보다 빠르다.
• 원시 타당성, 이중 비타당성, 목적함수 갭을 모두 포괄하는 철저히 구성된 리아푸노프 함수를 통해 수렴 속도가 확립된다.
• 강한 볼록성 또는 패널티 매개수 제약 조건 없이도 두 블록 ADMM의 O(1/t) 수렴 속도에 대한 단순한 증명이 제공된다.
• 분석 결과는 표준 ADMM가 가벼운 조건 하에서도 이론적으로 수렴 가능하다는 것을 확인하여, 그 실용적 성공을 설명한다.
• 결과는 이전의 수렴에 대한 반례가 있었음에도 불구하고 다중 블록 ADMM의 광범위한 실용적 적용에 대한 이론적 기반을 제공한다.