[논문 리뷰] Accelerated Alternating Direction Method of Multipliers: an Optimal $O(1/K)$ Nonergodic Analysis

Huan Li, Zhouchen Lin|arXiv (Cornell University)|2016. 08. 23.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 일반적인 선형 제약 조건이 부여된 볼록 문제에 대해 최적의 O(1/K) 비에르고딕 수렴 속도를 보장하는 가속화된 분할 역할 방법(ADMM)을 제안한다. 이 방법은 에르고딕 평균화 없이도 O(1/K)의 하위최적성 갭과 제약 위반을 달성한다. 이 방법은 에르고딕 대응 방법보다 희소성과 낮은 질서 구조를 더 잘 유지하며, 일반적인 선형 제약 조건이 부여된 볼록 문제에 대해 최초로 O(1/K) 비에르고딕 ADMM를 제공하며, 미분 가능하지도 않고 강력 볼록하지 않은 조건 하에서 복잡도 측면에서 최적이다.

ABSTRACT

The Alternating Direction Method of Multipliers (ADMM) is widely used for linearly constrained convex problems. It is proven to have an $o(1/\sqrt{K})$ nonergodic convergence rate and a faster $O(1/K)$ ergodic rate after ergodic averaging, which may destroy the sparsity and low-rankness in sparse and low-rank learning, where $K$ is the number of iterations. In this paper, we modify the accelerated ADMM proposed in [Y. Ouyang, Y. Chen, G. Lan, and E. Pasiliao, An Accelerated Linearized Alternating Direction Method of Multipliers, SIAM J. on Imaging Sciences, 2015, 1588-1623] and give an $O(1/K)$ nonergodic convergence rate analysis, which satisfies $|F(x^K)-F(x^*)|\leq O(1/K)$, $\|Ax^K-b\|\leq O(1/K)$ and $x^K$ has a more favorable sparseness and low-rankness than the ergodic result. As far as we know, this is the first $O(1/K)$ nonergodic convergent ADMM type method for general linearly constrained convex problems. Moreover, we show that the lower complexity bound of ADMM type methods for the separable linearly constrained nonsmooth convex problems is $O(1/K)$, which means that our method is optimal.

연구 동기 및 목표

• 선형 제약 조건이 부여된 볼록 문제에 대해 기존 ADMM의 하위최적성 o(1/√K) 비에르고딕 수렴 속도 문제를 해결한다.
• 기존 가속화된 ADMM 방법에서 발생하는 에르고딕 평균화로 인한 희소성과 낮은 질서의 손실 문제를 해결한다.
• 최적의 O(1/K) 수렴 속도를 달성하면서도 유리한 해 구조를 유지하는 비에르고딕 가속화 ADMM 변종을 개발한다.
• 비미분 가능하고 강력 볼록하지 않은 조건 하에서 ADMM 유형 알고리즘의 하한 복잡도가 O(1/K)임을 증명하여 제안된 방법의 최적성 입증

제안 방법

• Ouyang 등 [18]의 가속화된 ADMM 프레임워크를 수정하여, 에르고딕 평균화 없이도 수렴 속도를 가속화할 수 있는 새로운 모멘타 기반 업데이트 전략을 도입한다.
• 비에르고딕 수렴 속도 분석을 위해 라파노프 함수 기반 접근법을 도입하여 목적 함수 갭 |F(x^K) - F(x*)| 및 제약 위반 ||Ax^K - b||에 대한 수렴 속도를 확립한다.
• 원시 및 이중 단계의 균형을 위해 철저히 설계된 외삽 기반의 매개변수 업데이트 규칙을 사용하여 O(1/K) 수렴을 보장한다.
• 일반적인 볼록, 비미분 가능, 비강력 볼록 조건 하에서 목적 함수 오차 및 타당성 위반에 대해 O(1/K) 비에르고딕 수렴을 달성함을 증명한다.
• 제안된 문제 클래스 하에서 ADMM 유형 알고리즘의 하한 복잡도가 Ω(1/K)임을 도출하여 O(1/K) 수렴 속도가 최적임을 입증한다.
• 평균화를 피하여 반복 해의 희소성과 낮은 질서를 유지함으로써 최종 반복 해 x^K가 기계 학습 및 영상 처리에서 중요한 구조적 특성을 그대로 유지함을 보장한다.

실험 결과

연구 질문

• RQ1 일반적인 선형 제약 조건이 부여된 볼록 문제에 대해 가속화된 ADMM가 O(1/K) 비에르고딕 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 방법은 에르고딕 평균화 방법과 달리 반복 해의 희소성과 낮은 질서를 유지하는가?
• RQ3 비미분 가능하고 비강력 볼록 조건 하에서 ADMM 유형 알고리즘의 O(1/K) 비에르고딕 수렴 속도가 최적인가?
• RQ4 수렴 분석을 확장하여 더 빠른 수렴을 달성하면서도 희소성 같은 구조적 특성을 유지할 수 있는가?
• RQ5 분리 가능하고 선형 제약 조건이 부여된 비미분 가능 볼록 문제에 대해 ADMM 유형 알고리즘의 이론적 하한 복잡도는 얼마인가?

주요 결과

• 제안된 ALADMM-NE는 목적 함수 갭 |F(x^K) - F(x*)| 및 제약 위반 ||Ax^K - b||에 대해 O(1/K) 비에르고딕 수렴 속도를 달성한다.
• 에르고딕 평균화가 이러한 구조를 파괴할 수 있는 것과 달리, 이 방법은 최종 반복 해 x^K에서 희소성과 낮은 질서를 유지한다.
• 제안된 문제 클래스 하에서 ADMM 유형 알고리즘의 하한 복잡도가 Ω(1/K)임을 증명하여 O(1/K) 비에르고딕 수렴 속도가 최적임을 입증한다.
• 그룹 희소 로지스틱 회귀 문제에 대한 수치 실험 결과, ALADMM-NE와 ALADMM-NER는 LADMM과 ALADMM보다 수렴 속도가 빠르며, 뛰어난 희소성과 그룹 희소성을 유지한다.
• 이론적 한계에 비해 실질적으로도 에르고딕 변종(예: erg-ALADMM)보다 더 빠른 수렴을 보이며, 반복 해에서 더 우수한 구조적 특성을 유지한다.
• 이론적 분석을 통해 O(1/K) 수렴 속도를 더 이상 향상시킬 수 없음을 확인하여 제안된 알고리즘의 최적성 입증