[논문 리뷰] Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting

Canyi Lu, Huan Li외 2명|arXiv (Cornell University)|2015. 11. 14.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 스무스 및 노ン스무스 성분을 가진 다중 블록 볼록 최적화 문제를 해결하기 위한 새로운 알고리즘인 병렬 분할을 통한 빠른 프락시멀 선형화된 ADMM(Fast PL-ADMM-PS)를 제안한다. 네스테로프 가속과 스무스 항의 선형화를 통합함으로써 원천 변수에 대해 $O(1/K^2)$의 향상된 수렴 속도를 달성하여, 합성 및 실세계 데이터에서 기존의 ADMM 및 PALM보다 이론적·실제적으로 뛰어나게 성능을 향상시킨다.

ABSTRACT

The Augmented Lagragian Method (ALM) and Alternating Direction Method of Multiplier (ADMM) have been powerful optimization methods for general convex programming subject to linear constraint. We consider the convex problem whose objective consists of a smooth part and a nonsmooth but simple part. We propose the Fast Proximal Augmented Lagragian Method (Fast PALM) which achieves the convergence rate $O(1/K^2)$, compared with $O(1/K)$ by the traditional PALM. In order to further reduce the per-iteration complexity and handle the multi-blocks problem, we propose the Fast Proximal ADMM with Parallel Splitting (Fast PL-ADMM-PS) method. It also partially improves the rate related to the smooth part of the objective function. Experimental results on both synthesized and real world data demonstrate that our fast methods significantly improve the previous PALM and ADMM.

연구 동기 및 목표

• 기존의 분할 대체 방법의 최적화 방법(ADMM)과 프락시멀 대체 선형화 방법(PALM)이 다중 블록 볼록 문제를 해결할 때 느린 수렴 속도를 보이는 문제를 해결하기 위해.
• 비단위 선형 연산자를 가진 문제에서 ADMM 기반 방법의 반복 계산 비용을 줄이기 위해.
• 네스테로프 유형의 가속을 통합함으로써 기존의 프락시멀 ADMM 변형의 수렴 속도를 $O(1/K)$에서 $O(1/K^2)$로 향상시키기 위해.
• 대규모 머신러닝 및 신호 처리 응용 분야에 적합한 스케일러블하고 병렬 처리 가능한 알고리즘 개발을 위해.

제안 방법

• 네스테로프 가속을 프락시멀 업데이트 방식에 통합하여 $O(1/K^2)$ 수렴 속도를 달성하는 빠른 프락시멀 변형인 Fast PALM을 제안한다.
• 스무스 성분 $g_i$를 선형화하고 프락시멀 항을 적용하여 변수를 분리함으로써 병렬 계산이 가능한 다중 블록 확장인 Fast PL-ADMM-PS를 도입한다.
• 반복 수 $\theta^{(k)}$를 통해 적응형 스텝 사이즈 전략을 적용하며, 이는 $\theta^{(k+1)} = \frac{1 + \sqrt{1 + 4(\theta^{(k)})^2}}{2}$를 만족한다. 이를 통해 수렴 속도를 가속화한다.
• 변동하는 벌점 매개변수 $\beta^{(k)}$를 가진 선형화된 증강 라그랑지안을 사용하여 하위 문제 해결을 단순화하면서도 수렴성을 유지한다.
• 병렬 분할을 적용하여 $n$개의 블록 하위 문제를 동시에 해결함으로써 의존성 감소와 확장성 향상을 달성한다.
• 리아파노프 함수를 사용하여 수렴 보장을 도출하고, 리프시츠 연속성과 유계된 부분미분의 표준 가정 하에 전역 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 네스테로프 유형의 가속을 ADMM 프레임워크에 효과적으로 통합하여 다중 블록 볼록 문제의 수렴 속도를 향상시킬 수 있는가?
• RQ2 ADMM에서 스무스 성분 $g_i$를 선형화함으로써 반복 계산 비용을 줄일 수 있으며, 수렴 품질에 영향을 주지 않는가?
• RQ3 기존의 프락시멀 ADMM 방법의 수렴 속도를 다중 블록 설정에서 $O(1/K)$에서 $O(1/K^2)$로 향상시킬 수 있는가?
• RQ4 제안된 Fast PL-ADMM-PS 방법은 실세계 및 합성 데이터에서 표준 ADMM 및 PALM과 비교해 실제로 어떻게 성능을 발휘하는가?
• RQ5 가속된 ADMM와 병렬 분할을 결합한 알고리즘이 전역적으로 선형 수렴하는 데 필요한 이론적 조건은 무엇인가?

주요 결과

• 제안된 Fast PL-ADMM-PS는 원천 변수에 대해 $O(1/K^2)$의 수렴 속도를 달성하여 표준 PALM 및 ADMM의 $O(1/K)$ 수렴 속도보다 크게 향상된다.
• 스무스 항 $g_i$를 선형화함으로써 반복 계산 복잡도를 감소시켜 더 빠르고 확장 가능한 하위 문제 해결이 가능해진다.
• 합성 및 실세계 데이터(예: 행렬 완성, 라소, 저질서 복원)에 대한 실험 결과에 따르면 Fast PL-ADMM-PS는 PALM 및 표준 ADMM보다 더 빠르게 수렴하는 것으로 나타났다.
• 이론적 분석을 통해 부분미분의 유계성과 선형 연산자 $\mathcal{A}$의 행렬이 전행질서를 가지는 표준 가정 하에 전역 수렴이 확인되었다.
• 실제 응용에서 흔한 비단위 선형 연산자 $\mathcal{A}_i$가 존재하더라도 알고리즘이 수렴을 유지함을 보였다.
• 수렴 경계는 $D_{\mathbf{x}^*}^2$, $D_{\bm{λ}}^2$, 및 $D_X^2$에 의존하며, 오차 항의 $1/K^2$ 감쇠 속도가 주요한 영향을 미친다.