[논문 리뷰] On the Global Linear Convergence of the ADMM with Multi-Block Variables

Tianyi Lin, Shiqian Ma외 1명|arXiv (Cornell University)|2014. 08. 19.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 $N \geq 3$인 다중 블록 볼록 최적화 문제에 대해, $N-1$ 함수의 강한 볼록성, 기울기의 리프시츠 연속성, 그리고 특정 행렬의 전행 랭크 조건과 같은 쉽게 확인할 수 있는 조건 하에서, 교대 방식의 다중 승수 방법(ADMM)의 전역 선형 수렴성을 확립한다. 저자들은 잘 알려진 2블록 케이스를 넘어서 수렴 보장을 확장하며, 대규모 다중 블록 환경에서 ADMM의 실용적 성공을 설명한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) has been widely used for solving structured convex optimization problems. In particular, the ADMM can solve convex programs that minimize the sum of $N$ convex functions with $N$-block variables linked by some linear constraints. While the convergence of the ADMM for $N=2$ was well established in the literature, it remained an open problem for a long time whether or not the ADMM for $N \ge 3$ is still convergent. Recently, it was shown in [3] that without further conditions the ADMM for $N\ge 3$ may actually fail to converge. In this paper, we show that under some easily verifiable and reasonable conditions the global linear convergence of the ADMM when $N\geq 3$ can still be assured, which is important since the ADMM is a popular method for solving large scale multi-block optimization models and is known to perform very well in practice even when $N\ge 3$. Our study aims to offer an explanation for this phenomenon.

연구 동기 및 목표

• ADMM가 $N \geq 3$ 블록 변수에 대해 전역적으로 선형 수렴하는지 여부에 대한 오랫동안 미해결된 열린 문제를 해결하기 위해.
• 다중 블록 볼록 최적화에서 ADMM가 전역 선형 수렴을 달성할 수 있는 최소이자 검증 가능한 조건을 규명하기 위해.
• 기계 학습 및 영상 처리와 같은 다중 블록을 포함한 대규모 문제에서 ADMM의 경험적 성공에 대한 이론적 근거를 제공하기 위해.
• 기존의 2블록 ADMM 수렴 결과를 더 일반적인 다중 블록 케이스로 확장하기 위해.

제안 방법

• 선형 제약 조건으로 연결된 $N$-블록 변수를 가진 증강 라그랑주 최소화 문제로 다중 블록 ADMM를 수립한다.
• 연산자 분할과 단조 연산자 이론을 사용하여 수렴성을 분석하며, 강제성과 리프시츠 연속성 등의 성질을 활용한다.
• 전역 선형 수렴이 보장되는 세 가지 서로 다른 시나리오를 도입하며, 목적 함수와 제약 행렬에 대한 특정 구조적 가정을 설정한다.
• 스펙트럼 분석과 오차 경계 기법을 적용하여 강한 볼록성과 전행 랭크 조건 하에서 선형 수렴 속도를 유도한다.
• 강한 볼록성의 $N-1$ 개 함수, 기울기의 리프시츠 연속성, $A_N$의 전행 랭크를 포함하는 충분조건을 유도하여 선형 수렴을 보장한다.
• 유용성 최적화 문제에 대한 수치 실험을 통해 이론적 결과를 검증하며, 실질적으로 선형 수렴이 이루어지는 것을 보여준다.

실험 결과

연구 질문

• RQ1 표준 ADMM가 $N \geq 3$일 때 어떤 조건에서 전역 선형 수렴을 달성하는가?
• RQ2 2블록 ADMM에 대한 수렴 보장 조건을 $N \geq 3$인 다중 블록 문제로 확장할 수 있는가?
• RQ3 목적 함수와 제약 행렬에 대한 어떤 구조적 가정이 다중 블록 설정에서 ADMM의 선형 수렴을 보장하는가?
• RQ4 일반적인 다중 블록 변형에서 수렴하지 않는 것으로 알려진 바에도 불구하고, ADMM가 실무에서 잘 작동하는 이유는 무엇인가?

주요 결과

• ADMM는 $N-1$ 개의 함수 $f_i$가 강한 볼록성, $\nabla f_N$이 리프시츠 연속성, $A_N$이 전행 랭크를 갖는 조건 하에서 $N \geq 3$일 때 전역 선형 수렴을 달성한다.
• 수렴 속도는 선형이며, 수치 실험에서 비율 상수 $\delta_1$가 약 $1.01 \times 10^{-2}$로 관측된다.
• 수렴을 잃지 않고도 페널티 매개변수 $\gamma$를 이론적 상한 $\gamma_{\text{max}}$에 가깝게 선택할 수 있으며, 실험에서 $\gamma = 0.99 \cdot \gamma_{\text{max}}$로 확인되었다.
• 수치 결과는 테스트 문제에서 모든 블록에 대해 반복값 $\|x_i - x_i^*\|$의 선형 수렴을 확인하여 이론적 주장에 대한 지지를 받는다.
• 이론적 프레임워크는 기존의 2블록 ADMM 결과를 일반화하며, 약간의 조건 하에서도 다중 블록 문제로 확장된다.
• 논문은 합리적인 가정 하에서 $N \geq 3$에 대해 ADMM가 전역적으로 선형 수렴 가능하다는 것을 보여줌으로써 오랫동안 미해결이었던 문제를 해결하며, 그 실용적 효용성을 설명한다.