[논문 리뷰] Convergence rate analysis of several splitting schemes

Damek Davis, Wotao Yin|arXiv (Cornell University)|2014. 06. 18.

Optimization and Variational Analysis인용 수 9

한 줄 요약

이 논문은 일반적인 볼록성 조건 하에서 Douglas-Rachford, Peaceman-Rachford, 그리고 ADMM를 포함한 분할 알고리즘의 수렴 속도 분석을 종합적으로 제공한다. 고정점 잔여항(FPR)과 목적함수 오차에 대해 날카운 little-o 수렴 속도를 확립하며, 이는 DRS가 비ergodic 의미에서 서브그래디언트 방법만큼 느리고, ergodic 의미에서 PPA만큼 빠르다고 보여준다.

ABSTRACT

Splitting schemes are a class of powerful algorithms that solve complicated monotone inclusions and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which the simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable algorithms, which often obtain nearly state-of-the-art performance. In the first part of this paper, we analyze the convergence rates of several general splitting algorithms and provide examples to prove the tightness of our results. The most general rates are proved for the \emph{fixed-point residual} (FPR) of the Krasnosel'skiĭ-Mann (KM) iteration of nonexpansive operators, where we improve the known big-$O$ rate to little-$o$. We show the tightness of this result and improve it in several special cases. In the second part of this paper, we use the convergence rates derived for the KM iteration to analyze the \emph{objective error} convergence rates for the Douglas-Rachford (DRS), Peaceman-Rachford (PRS), and ADMM splitting algorithms under general convexity assumptions. We show, by way of example, that the rates obtained for these algorithms are tight in all cases and obtain the surprising statement: The DRS algorithm is nearly as fast as the proximal point algorithm (PPA) in the ergodic sense and nearly as slow as the subgradient method in the nonergodic sense. Finally, we provide several applications of our result to feasibility problems, model fitting, and distributed optimization. Our analysis is self-contained, and most results are deduced from a basic lemma that derives convergence rates for summable sequences, a simple diagram that decomposes each relaxed PRS iteration, and fundamental inequalities that relate the FPR to objective error.

연구 동기 및 목표

• 일반 볼록성 조건 하에서 핵심 분할 알고리즘의 고정점 잔여항(FPR)과 목적함수 오차에 대한 날카운 수렴 속도 경계를 확립하기.
• DRS 및 ADMM와 같은 알고리즘의 비ergodic 수렴 속도와 ergodic 수렴 속도 간 오랜 기간 동안 존재한 이해 격차를 해결하기.
• 유도된 속도의 최적성은 날카운 예시와 이론적 분석을 통해 입증하기.
• 합계 가능하고 단조 증가하는 수열에 관한 핵심 보조정리와 기본 부등식을 사용하여 수렴 속도 결과를 통합하고 일반화하기.
• 네트워크화 및 병렬 문제에 적용 가능한 분산 및 분산 최적화 설정으로 분석을 확장하기.

제안 방법

• 합계 가능하고 단조 증가하는 수열에 관한 기본 보조정리를 사용하여 비확장 연산자의 Krasnosel’skiï-Mann 반복의 수렴 속도를 유도한다.
• 유연한 Peaceman-Rachford 분할(PRS) 반복을 구성 요소 단계로 분해하기 위한 단순한 다이어그램을 제안한다.
• 유연한 PRS 및 DRS 알고리즘에서 고정점 잔여항(FPR)과 목적함수 오차 사이의 핵심 부등식을 확립한다.
• FPR 수렴 속도 분석을 적용하여 Douglas-Rachford 분할(DRS), Peaceman-Rachford 분할(PRS), 그리고 ADMM의 목적함수 오차 수렴 속도를 유도한다.
• 시간 평균과 마지막 반복 수렴을 구분하면서, ergodic 및 비ergodic 반복 모두를 분석하는 프레임워크를 적용한다.
• 지역 통신 제약 조건이 있는 그래프 위에서 문제를 재구성하여 분산 최적화에 적용함으로써, 진정으로 분산 가능한 알고리즘을 도출한다.

실험 결과

연구 질문

• RQ1 일반 볼록성 조건 하에서 Krasnosel’skiï-Mann 반복의 고정점 잔여항(FPR)에 대해 가능한 가장 날카운 수렴 속도는 무엇인가요?
• RQ2 일반 볼록성 조건 하에서 DRS, PRS, ADMM의 비ergodic 수렴 속도와 ergodic 수렴 속도는 어떻게 비교될 수 있나요?
• RQ3 이러한 분할 알고리즘의 수렴 속도가 날카운 예시를 통해 최적임을 입증할 수 있을까요?
• RQ4 일반 볼록성 조건 하에서 유연한 PRS 및 DRS 알고리즘에서 FPR과 목적함수 오차는 어떻게 관련이 있나요?
• RQ5 이러한 수렴 속도는 그래프 상의 분산 및 분산 최적화에 어떤 영향을 미치나요?

주요 결과

• Krasnosel’skiï-Mann 반복의 고정점 잔여항(FPR)은 기존의 big-O 경계를 향상시켜 little-o 속도로 수렴하며, 이 결과는 날카롭다.
• Douglas-Rachford 분할(DRS)의 경우, 비ergodic 의미에서 목적함수 오차는 little-o 속도로 수렴하며, 이는 서브그래디언트 방법의 알려진 가장 느린 속도와 일치한다.
• ergodic 의미에서 DRS는 목적함수 오차 수렴 속도가 O(1/(k+1))로 나타나며, 이는 보조점 알고리즘(PPA)과 일치하여 거의 최적의 ergodic 성능임을 보여준다.
• ADMM 및 PRS의 수렴 속도는 모든 경우에 대해 날카롭게 밝혀졌으며, 비ergodic 목적함수 오차는 o(1/sqrt(k+1))로 감소하고, FPR은 o(1/(k+1))로 감소한다.
• 그래프 상의 분산 최적화에 대해 유도된 비ergodic 및 ergodic 수렴 속도는 새로운 것으로, 더 강한 가정 하에 기존의 선형 수렴 결과를 보완한다.
• 유도된 수렴 속도가 실질적으로 최적임이 날카운 예시를 통해 모든 알고리즘 변형 및 설정에서 입증되었다.