[논문 리뷰] Parallel Multi-Block ADMM with o(1/k) Convergence

Wei Deng, Ming‐Jun Lai외 2명|arXiv (Cornell University)|2013. 12. 11.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 48

한 줄 요약

이 논문은 분리 가능한 구조를 가진 볼록 최적화를 위한 병렬 분산 다중 블록 ADMM 알고리즘을 제안하며, 전역 수렴 속도가 o(1/k)인 보정 항을 사용한다. 알고리즘은 자코비 타입 업데이트를 통해 ADMM을 N개 블록으로 확장하고, 조건이 약간만 강화된 경우에도 수렴성을 확립하며, 실용적 가속을 위한 동적 매개변수 조정 전략을 도입하여 분산 환경에서 대규모 기저 추구 문제에서 뛰어난 성능을 보인다.

ABSTRACT

This paper introduces a parallel and distributed extension to the alternating direction method of multipliers (ADMM) for solving convex problem: minimize $\sum_{i=1}^N f_i(x_i)$ subject to $\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$. The algorithm decomposes the original problem into N smaller subproblems and solves them in parallel at each iteration. This Jacobian-type algorithm is well suited for distributed computing and is particularly attractive for solving certain large-scale problems. This paper introduces a few novel results. Firstly, it shows that extending ADMM straightforwardly from the classic Gauss-Seidel setting to the Jacobian setting, from 2 blocks to N blocks, will preserve convergence if matrices $A_i$ are mutually near-orthogonal and have full column-rank. Secondly, for general matrices $A_i$, this paper proposes to add proximal terms of different kinds to the N subproblems so that the subproblems can be solved in flexible and efficient ways and the algorithm converges globally at a rate of o(1/k). Thirdly, a simple technique is introduced to improve some existing convergence rates from O(1/k) to o(1/k). In practice, some conditions in our convergence theorems are conservative. Therefore, we introduce a strategy for dynamically tuning the parameters in the algorithm, leading to substantial acceleration of the convergence in practice. Numerical results are presented to demonstrate the efficiency of the proposed method in comparison with several existing parallel algorithms. We implemented our algorithm on Amazon EC2, an on-demand public computing cloud, and report its performance on very large-scale basis pursuit problems with distributed data.

연구 동기 및 목표

• 분리 가능한 구조를 가진 대규모 볼록 문제를 위한 확장 가능하고 분산된 최적화 알고리즘을 개발한다.
• 기존의 두 블록 ADMM을 병렬 자코비 타입 프레임워크에서 N개 블록으로 확장한다.
• 약간의 조건 하에 제안된 다중 블록 ADMM의 전역 수렴성과 o(1/k) 수렴 속도를 확립한다.
• 새로운 분석 기법을 통해 O(1/k) 수렴 속도를 o(1/k)로 향상시킨다.
• 이론적 보장을 훼손하지 않으면서 실용적 수렴 속도를 향상시키는 동적 매개변수 조정 전략을 도입한다.

제안 방법

• 알고리즘은 각 반복에서 병렬적으로 해결되는 N개의 하위문제로 원래 문제를 분해한다.
• 각 하위문제에 ‖x_i - x_i^k‖_P_i² 형식의 보정 항을 추가하여 수치적 안정성과 개별 업데이트의 유연성을 향상시킨다.
• 행렬 A_i가 상호 near-orthogonal이고 최소한의 열 랭크를 가지는 조건 하에 수렴성을 확보하며, 일반적인 A_i 행렬의 경우 보정 정규화를 통해 전역 수렴성을 확보한다.
• 수렴 속도를 O(1/k)에서 o(1/k)로 향상시키기 위해 코시-슈바르츠 부등식과 수축 성질을 기반으로 한 새로운 분석 기법을 사용한다.
• 반복 과정에서 보정 매개변수를 적응적으로 조정하여 실용적 수렴 속도를 가속화하는 동적 매개변수 조정 전략을 도입한다.
• 메서드는 아마존 EC2에 구현되어 분산된 데이터를 가진 대규모 기저 추구 문제에서 평가된다.

실험 결과

연구 질문

• RQ1 기존의 ADMM을 두 블록에서 N개 블록으로 확장하면서도 전역 수렴성을 유지할 수 있는가?
• RQ2 제약 행렬 A_i에 어떤 조건이 필요할 경우 다중 블록 자코비 ADMM이 수렴하는가?
• RQ3 다중 블록 설정에서 ADMM의 수렴 속도를 O(1/k)에서 o(1/k)로 향상시킬 수 있는가?
• RQ4 보정 정규화는 다중 블록 ADMM에서 하위문제 해결의 유연성과 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 동적 매개변수 조정 전략은 이론적 수렴 보장을 훼손하지 않으면서도 실용적으로 수렴 속도를 크게 향상시키는가?

주요 결과

• 제안된 다중 블록 ADMM는 A_i 행렬이 상호 near-orthogonal하고 최소한의 열 랭크를 가지는 경우 전역 수렴성을 확보한다.
• 일반적인 A_i 행렬의 경우 보정 항을 추가함으로써 전역 수렴성과 o(1/k) 수렴 속도를 확보한다.
• 수축 기반 분석과 코시-슈바르츠 부등식을 활용한 기법을 통해 기존의 O(1/k) 수렴 속도를 o(1/k)로 향상시킬 수 있음을 규명한다.
• 수치적 결과는 제안된 알고리즘이 기존의 병렬 ADMM 방법보다 대규모 기저 추구 문제에서 뛰어난 성능을 보임을 보여준다.
• 동적 매개변수 조정 전략은 이론적 조건이 보수적인 경우에도 실용적으로 수렴 속도를 크게 향상시킨다.
• 알고리즘은 아마존 EC2에 성공적으로 구현되어 분산 환경에서의 대규모 최적화 문제에 대해 확장성과 효율성을 입증했다.