[논문 리뷰] Faster convergence rates of relaxed Peaceman-Rachford and ADMM under regularity assumptions

Damek Davis, Wotao Yin|arXiv (Cornell University)|2014. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 35

한 줄 요약

이 논문은 강한 볼록성, 리프시츠 연속 미분 가능성, 유계 선형 정규성 등의 다양한 정규성 조건 하에서 이완된 Peaceman-Rachford 분할법(PRS)과 ADMM의 더 빠른 수렴 속도를 확립한다. 이 알고리즘들이 문제의 구조에 자동으로 적응하여 최악의 경우 경계를 초월한 향상된 수렴 속도를 달성함을 보여준다. 분석은 단순한 기법들—합수열 레마와 고정점 잔여치 부등식—에 기반하며, 여러 경우에서 향상된 속도가 날카롭게 조밀하다는 것이 확인된다.

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In this paper, we provide a comprehensive convergence rate analysis of the Douglas-Rachford splitting (DRS), Peaceman-Rachford splitting (PRS), and alternating direction method of multipliers (ADMM) algorithms under various regularity assumptions including strong convexity, Lipschitz differentiability, and bounded linear regularity. The main consequence of this work is that relaxed PRS and ADMM automatically adapt to the regularity of the problem and achieve convergence rates that improve upon the (tight) worst-case rates that hold in the absence of such regularity. All of the results are obtained using simple techniques.

연구 동기 및 목표

• 일般 볼록성보다 더 강한 정규성 조건 하에서 이완된 Peaceman-Rachford 분할법(PRS)과 ADMM의 포괄적인 수렴 속도 분석을 제공하는 것.
• 이완된 PRS와 ADMM가 문제의 정규성에 자동으로 적응하여 이전 연구에서 확립된 최악의 경우 경계를 초월한 더 빠른 수렴 속도를 달성할 수 있음을 보여주는 것.
• 강한 볼록성과 리프시츠 연속 미분 가능성 등의 조건 하에서 개선된 속도를 유도함으로써 이론적 최악의 경우 속도와 실질적 성능 간 격차를 해소하는 것.
• 고정점 잔여치 경계와 합수열 레마와 같은 기본 기법들을 사용하여 PRS와 ADMM의 수렴 속도 분석을 통합하고 확장하는 것.
• 이전 연구의 예시들을 활용하여 주어진 가정 하에서 더 이상 향상될 수 없음을 보여주어 새로운 속도의 날카로움을 검증하는 것.

제안 방법

• 힐버트 공간에서 비확장성 및 평균화된 연산자의 반복으로 모델링된 이완된 PRS와 ADMM를 고정점 프레임워크로 분석한다.
• 수렴 속도 유도에 있어 고정점 잔여치 감쇠에서 비롯된 속도 유도를 가능하게 하는 핵심 레마(Lemma 1.1)를 적용한다.
• PRS 및 ADMM 방식에서 반복과 수렴 행동 간의 관계를 시각화하기 위해 기하학적 다이어그램(Figure LABEL:fig:DRSTR)을 활용한다.
• 기본 부등식(Propositions 2, 3, 4, 및 13)을 사용하여 고정점 잔여치(FPR)와 목적함수 오차 간의 경계를 도출하며, 잔여치 감쇠와 목적함수 수렴 간의 연결 고리를 확립한다.
• 에르고딕 및 비에르고딕 수렴 속도를 모두 분석하며, 다양한 정규성 유형에 따라 최적 반복자와 평균 반복자 수렴 간의 차이를 명확히 한다.
• 다양한 문제 구조를 고려한다: 비제약 복합 최소화 문제(Problem 1)와 선형 제약이 있는 문제(Problem 2), ADMM는 후자의 경우에 적용된다.

실험 결과

연구 질문

• RQ1 강한 볼록성 또는 리프시츠 기울기 조건과 같은 더 강한 정규성 가정이 있을 경우, 이완된 PRS와 ADMM는 최악의 경우 $o(1/k)$ 및 $O(1/k)$ 수렴 속도를 초월하여 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 이완된 PRS와 ADMM가 문제 구조에 따라 얼마나 적응적으로 수렴을 향상시키는가? 이러한 적응성은 공식적으로 특성화되고 경계화될 수 있는가?
• RQ3 강한 볼록성 또는 리프시츠 연속 미분 가능성 조건 하에서 도출된 향상된 수렴 속도는 날카로운가, 아니면 추가로 향상시킬 수 있는가?
• RQ4 유사한 가정 조건 하에서 표준 승수법(MM) 또는 Douglas-Rachford 분할법(DRS)과 비교해 이완된 PRS와 ADMM의 수렴 속도는 어떻게 다른가?
• RQ5 복잡한 연산자 이론에 의존하지 않고도 간단하고 기본적인 기법들을 사용해 다양한 정규성 조건에 걸쳐 수렴 분석을 통합할 수 있는가?

주요 결과

• 만약 $f$ 또는 $g$가 강한 볼록성을 갖는다면, 이완된 PRS는 비에르고딕 목적함수 오차 속도로 $o(1/k)$와 에르고딕 속도로 $O(1/k)$를 달성하며, 이는 최악의 경우 $o(1/k)$ 경계를 초월한다.
• 만약 $\nabla g$가 리프시츠 연속적이라면, 이완된 PRS는 비에르고딕 속도로 $o(1/k)$와 에르고딕 속도로 $O(1/k)$를 달성하며, 추가로 강한 볼록성이 있으면 선형 속도 $O(e^{-k})$를 달성한다.
• 선형 제약이 있는 문제에 대해 ADMM를 적용할 경우, $f$ 또는 $g$가 강한 볼록성이고 제약 행렬이 전행질량을 갖는다면, 알고리즘은 $O(e^{-k})$의 R-선형 수렴을 달성한다.
• 만약 $\nabla f$ 또는 $\nabla g$가 리프시츠 연속적이고 문제에 유계 선형 정규성이 있다면, ADMM는 비에르고딕 목적함수 오차 속도로 $o(1/k)$와 에르고딕 속도로 $O(1/k)$를 달성한다.
• 이완된 PRS의 고정점 잔여치(FPR)는 강한 볼록성 조건 하에서 $o(1/k)$ 속도로 수렴하고, 리프시츠 기울기 조건 하에서는 $O(1/k)$ 속도로 수렴하며, 에르고딕 경우에 더 날카로운 경계를 갖는다.
• 결과들은 향상된 속도가 날카로움을 확인한다: 이론적으로 더 이상 향상될 수 없음을, 이전 연구의 반례들을 통해 입증된다.