[논문 리뷰] Parallel Direction Method of Multipliers

Huahua Wang, Arindam Banerjee외 1명|arXiv (Cornell University)|2014. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 22

한 줄 요약

이 논문은 선형 제약 조건을 가진 다중 블록 볼록 최적화 문제를 해결하기 위한 병렬 방향 승수 방법(PDMM)을 제안한다. PDMM은 무작위로 선택된 블록들 간에 동시에 원본 및 이중 변수를 갱신하며, 일정한 스텝 사이즈를 사용함에도 불구하고 전역 수렴성과 O(1/T) 반복 복잡도를 달성하여, 강건한 주성분 분석 및 겹치는 그룹 라소 적용 분야에서 최신 기법들을 능가한다.

ABSTRACT

We consider the problem of minimizing block-separable convex functions subject to linear constraints. While the Alternating Direction Method of Multipliers (ADMM) for two-block linear constraints has been intensively studied both theoretically and empirically, in spite of some preliminary work, effective generalizations of ADMM to multiple blocks is still unclear. In this paper, we propose a randomized block coordinate method named Parallel Direction Method of Multipliers (PDMM) to solve the optimization problems with multi-block linear constraints. PDMM randomly updates some primal and dual blocks in parallel, behaving like parallel randomized block coordinate descent. We establish the global convergence and the iteration complexity for PDMM with constant step size. We also show that PDMM can do randomized block coordinate descent on overlapping blocks. Experimental results show that PDMM performs better than state-of-the-arts methods in two applications, robust principal component analysis and overlapping group lasso.

연구 동기 및 목표

• 볼록 최적화 문제에서 선형 제약 조건을 가진 다중 블록에 대한 ADMM의 효과적인 일반화가 부족한 문제를 해결하기 위해.
• 기존의 블록 기반 강하 방법이 겹치는 블록으로 인해 실패하는 대규모 다중 블록 문제에서 스케일러블하고 병렬 처리 가능한 알고리즘을 개발하기 위해.
• 무작위로 병렬 갱신하는 방식에 대해 전역 수렴성과 반복 복잡도 보장을 수립하기 위해.
• 비분리되고 겹치는 블록의 구조를 가진 응용 분야에서 효율적인 최적화를 가능하게 하기 위해.

제안 방법

• PDMM는 무작위로 선택된 블록들 간에 동시에 원본 및 이중 변수를 갱신하는 무작위 블록 기반 좌표 강하 접근 방식을 사용한다.
• 수렴성과 수치적 안정성을 확보하기 위해 펜alty 파라미터 ρ > 0 를 포함한 확장 라그랑주 함수를 적용한다.
• 알고리즘은 선택된 블록들에서 확장 라그랑주 함수를 최소화하고 이중 변수를 이중 상승 방식으로 갱신하는 것을 번갈아가며 수행한다.
• 목적 함수 내에서 비연속적이지만 블록 별로 분리 가능한 볼록 함수를 다루기 위해 브레그만 발산 항을 통합한다.
• 복합 정규화 항을 등식 제약 조건 문제로 재구성함으로써 겹치는 블록을 처리할 수 있도록 한다.
• 리아푸노프 함수 분석을 통해 일정한 스텝 사이즈 하에서 O(1/T)의 에르고딕 수렴 속도를 보여주는 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 무작위로 병렬적으로 블록 기반 좌표를 갱신하는 방법이 선형 제약 조건을 가진 다중 블록 볼록 최적화 문제에 대해 전역 수렴성을 달성할 수 있는가?
• RQ2 PDMM이 겹치는 또는 비분리 가능한 블록에 적용되었을 때도 수렴성과 반복 복잡도 보장을 유지하는가?
• RQ3 대규모 문제에서 최신 기법인 ADMM 및 RBCD와 비교해 PDMM의 성능과 수렴 속도는 어떠한가?
• RQ4 PDMM은 겹치는 그룹 라소 유형의 정규화를 가진 복합 최소화 문제를 효과적으로 다룰 수 있는가?

주요 결과

• PDMM는 일정한 스텝 사이즈를 사용함에도 불구하고 다중 블록 문제에 대해 이론적 보장을 제공하는 전역 수렴성을 달성한다.
• 알고리즘은 두 블록 ADMM와 동일한 알려진 속도인 O(1/T)의 에르고딕 수렴 속도를 나타낸다.
• 강건한 주성분 분석 및 겹치는 그룹 라소에서 최신 기법들을 능가하는 뛰어난 경험적 성능을 보여주며, PDMM이 슈퍼리어한 성능을 발휘한다.
• 복합 정규화 항을 등식 제약 조건 문제로 재구성함으로써 겹치는 블록을 성공적으로 처리한다.
• 원본 및 이중 갱신을 모두 고려하는 새로운 리아푸노프 함수를 기반으로 한 수렴 분석이 수행된다.
• PDMM는 PJADMM의 일반화임을 입증하였으며, 더 나은 수렴 속도 보장을 제공한다.