[논문 리뷰] On the o(1/k) Convergence and Parallelization of the Alternating Direction Method of Multipliers

Wei Deng, Ming‐Jun Lai외 1명|arXiv (Cornell University)|2013. 12. 11.

Sparse and Compressive Sensing Techniques인용 수 22

한 줄 요약

이 논문은 대규모 볼록 최적화를 위한 병렬 및 분산 ADMM 변종을 제안하며, 문제를 N개의 하위문제로 분해하여 병렬으로 해결한다. 보조 항과 동적 파rameter 조정을 통해 전역적으로 o(1/k) 수렴성을 확립함으로써, 아마존 EC2와 같은 분산 시스템에서 실용적 성능을 크게 향상시킨다.

ABSTRACT

This paper introduces a parallel and distributed extension to the alternating direction method of multipliers (ADMM) for solving convex problem: minimize $\sum_{i=1}^N f_i(x_i)$ subject to $\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$. The algorithm decomposes the original problem into N smaller subproblems and solves them in parallel at each iteration. This Jacobian-type algorithm is well suited for distributed computing and is particularly attractive for solving certain large-scale problems. This paper introduces a few novel results. Firstly, it shows that extending ADMM straightforwardly from the classic Gauss-Seidel setting to the Jacobian setting, from 2 blocks to N blocks, will preserve convergence if matrices $A_i$ are mutually near-orthogonal and have full column-rank. Secondly, for general matrices $A_i$, this paper proposes to add proximal terms of different kinds to the N subproblems so that the subproblems can be solved in flexible and efficient ways and the algorithm converges globally at a rate of o(1/k). Thirdly, a simple technique is introduced to improve some existing convergence rates from O(1/k) to o(1/k). In practice, some conditions in our convergence theorems are conservative. Therefore, we introduce a strategy for dynamically tuning the parameters in the algorithm, leading to substantial acceleration of the convergence in practice. Numerical results are presented to demonstrate the efficiency of the proposed method in comparison with several existing parallel algorithms. We implemented our algorithm on Amazon EC2, an on-demand public computing cloud, and report its performance on very large-scale basis pursuit problems with distributed data.

연구 동기 및 목표

• 분산 계산을 위해 순차적 가우스-자이델 방식에서 N개 블록에 걸쳐 병렬 자코비안 업데이트로 ADMM를 확장한다.
• 행렬 A_i가 거의 직교적이지 않을 경우에도 보조 항을 도입함으로써 약화된 조건 하에서 전역 수렴을 보장한다.
• 새로운 파arameter 조정 전략을 사용하여 수렴 속도를 O(1/k)에서 o(1/k)로 향상시킨다.
• 클라우드 기반 분산 시스템을 활용하여 기저 추구 문제의 대규모 효율적 해법을 가능하게 한다.

제안 방법

• 문제를 N개의 하위문제로 분해하기 위해 변수와 제약 조건을 N개의 블록에 나눈다.
• 모든 하위문제를 각 반복에서 병렬으로 해결하는 자코비안 유형의 ADMM 업데이트를 사용한다.
• 일반적인 A_i 행렬에 대해 수렴성을 보장하기 위해 하위문제에 서로 다른 구조의 보조 항을 도입한다.
• 이론적 경계의 보수성을 줄이고 실용적 수렴 속도를 향상시키기 위해 수렴 속도를 가속화하는 동적 파arameter 조정 전략을 구현한다.
• 대규모 기저 추구 문제에 대해 분산된 데이터를 활용하여 성능을 평가하기 위해 알고리즘을 아마존 EC2에 구현한다.
• 분산 기반 기저 추구 문제에 적용하여 클라우드 인프라에서의 확장성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 ADMM를 2블록 가우스-자이델에서 N블록 자코비안 업데이트로 확장하면서도 수렴성을 유지할 수 있는가?
• RQ2 N블록 자코비안 ADMM 설정에서 A_i 행렬에 대해 어떤 조건이 전역 수렴을 보장하는가?
• RQ3 어떻게 보조 항을 설계하여 다양한 하위문제 해결을 위한 유연성과 효율성을 확보하고 o(1/k) 수렴을 달성할 수 있는가?
• RQ4 알고리즘적 수정을 통해 수렴 속도를 O(1/k)에서 o(1/k)로 향상시킬 수 있는가?
• RQ5 실제로 수렴 속도 향상에 동적 파arameter 조정이 얼마나 효과적인가?

주요 결과

• 제안된 ADMM 변종은 하위문제에 보조 항을 추가함으로써 일반적인 A_i 행렬에 대해서도 o(1/k) 수렴 속도로 전역 수렴을 달성한다.
• A_i 행렬이 상호 거의 직교적이며 최소한의 열 랭크를 가지는 경우 자코비안 업데이트 방식에서도 수렴성이 유지된다.
• 기존 수렴 속도를 O(1/k)에서 o(1/k)로 향상시키는 간단한 수정이 이론적 보장을 강화한다.
• 실제로 동적 파arameter 조정은 수렴 속도를 크게 가속화하며 이론적 경계의 보수성을 줄인다.
• 아마존 EC2에서의 수치적 결과는 기존 병렬 ADMM 알고리즘에 비해 대규모 기저 추구 문제에서 뛰어난 성능을 보였다.
• 이 방법은 분산된 데이터에서 효율적으로 확장되며 실제 대규모 최적화 문제에 대한 실용적 타당성을 입증한다.