[논문 리뷰] On the Optimal Linear Convergence Rate of a Generalized Proximal Point Algorithm

Min Tao, Xiaoming Yuan|arXiv (Cornell University)|2016. 05. 18.

Optimization and Variational Analysis참고 문헌 30인용 수 3

한 줄 요약

이 논문은 Rockafellar의 조건 하에서 일반화된 프록시멀 포인트 알고리즘(PPA)에 대해 최적의 선형 수렴 속도를 확립하며, 이는 이전 결과를 비정확하고 완화된 변형으로 확장한 것이다. 기존의 고전적 PPA에서 선형 수렴을 보장하는 동일한 조건이 일반화된 PPA, 즉 보조라그랑주법(ALM)과 ADMM 방법에 대해서도 최적의 선형 수렴을 보장함을 증명한다. 특히 볼록 최적화 맥락에서 더 세밀하고 약한 조건을 제시한다.

ABSTRACT

The proximal point algorithm (PPA) has been well studied in the literature. In particular, its linear convergence rate has been studied by Rockafellar in 1976 under certain condition. We consider a generalized PPA in the generic setting of finding a zero point of a maximal monotone operator, and show that the condition proposed by Rockafellar can also sufficiently ensure the linear convergence rate for this generalized PPA. Indeed we show that these linear convergence rates are optimal. Both the exact and inexact versions of this generalized PPA are discussed. The motivation to consider this generalized PPA is that it includes as special cases the relaxed versions of some splitting methods that are originated from PPA. Thus, linear convergence results of this generalized PPA can be used to better understand the convergence of some widely used algorithms in the literature. We focus on the particular convex minimization context and specify Rockafellar's condition to see how to ensure the linear convergence rate for some efficient numerical schemes, including the classical augmented Lagrangian method proposed by Hensen and Powell in 1969 and its relaxed version, the original alternating direction method of multipliers (ADMM) by Glowinski and Marrocco in 1975 and its relaxed version (i.e., the generalized ADMM by Eckstein and Bertsekas in 1992). Some refined conditions weaker than existing ones are proposed in these particular contexts.

연구 동기 및 목표

• 고전적 PPA에서 Rockafellar의 선형 수렴 조건을 최대 단조 연산자에 대한 0점 찾기 문제에 대한 일반화된 PPA 프레임워크로 확장한다.
• 원래 PPA와 동일한 조건 하에서 일반화된 PPA의 정확한 및 비정확한 변형에 대해 선형 수렴을 확립한다.
• 일반화된 PPA를 볼록 최적화 문제에 적용하여, 특히 보조라그랑주법(ALM)과 다중변수 교대 방법(ADMM)에 대해 적용하고, 더 세밀한 수렴 조건을 유도한다.
• 이 논문에서 제시하는 수렴 조건이 최적이며, ALM 및 ADMM 변형에 대해 기존 문헌의 조건보다 더 약한지를 보여준다.
• ALM, ADMM 및 그 완화된 변형을 포함한 주요 연산 분할 방법들의 수렴 분석을 하나의 이론적 프레임워크로 통합한다.

제안 방법

• 최대 단조 연산자 $ T $에 대해 일반화된 PPA를 $ z^{k+1} = J_{c_k T}(z^k) $ 로 정의하며, $ c_k $ 는 프록시멀 매개변수이다.
• 비정확한 하위문제를 포함한 일반화된 PPA의 정확한 및 비정확한 변형을 분석하며, 비정확성은 상대 오차 허용 오차를 통해 제어된다.
• Rockafellar(1976)의 조건 — 즉 $ T^{-1} $ 이 0에서 리프시츠 연속일 것 — 을 적용하여 선형 수렴을 보장한다.
• 수렴 속도를 확립하기 위해 해소 연산자 이론과 메트릭 준정칙성을 사용하며, 특히 연산자 $ S_{\lambda,\mathcal{A},\mathcal{B}} $ 의 역함수에 초점을 맞춘다.
• 일반적 프레임워크를 ALM 및 ADMM에 특화시켜 볼록 최소화 문제에서의 선형 수렴 조건을 도출한다.
• 일반화된 ADMM을 일반화된 PPA의 특수한 경우로 간주하며, $ M $ 이 최소한의 열 랭크를 가지는 조건 하에서 원천 변수 $ \{x^k\} $, 이중 변수 $ \{p^k\} $, 및 $ \{Mx^k\} $ 의 R-선형 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 고전적 PPA에 대한 Rockafellar의 선형 수렴 조건을 비정확한 하위문제를 포함한 일반화된 PPA 프레임워크로 확장할 수 있는가?
• RQ2 특히 볼록 최적화 맥락에서 일반화된 PPA의 선형 수렴을 위한 가장 약한 충분 조건은 무엇인가?
• RQ3 일반화된 PPA의 수렴 결과는 ALM 및 ADMM와 같이 널리 사용되는 방법에 어떻게 적용되는가?
• RQ4 이 논문에서 제시하는 수렴 조건은 최적이며, 기존 문헌의 조건과 비교해 볼 때 어떠한가?
• RQ5 일반화된 PPA 프레임워크는 ADMM 및 그 완화된 변형을 포함한 여러 분할 방법의 수렴 분석을 통합할 수 있는가?

주요 결과

• 비정확한 하위문제를 포함한 일반화된 PPA는 고전적 PPA와 동일한 조건 — 즉 $ T^{-1} $ 이 0에서 리프시츠 연속일 것 — 을 만족할 경우 선형 수렴을 달성한다.
• 확립된 선형 수렴 속도는 최적이며, 동일한 가정 하에 더 빠른 속도를 보장할 수 없다.
• 보조라그랑주법(ALM)에 대해 이전에 알려진 것보다 더 약한 조건을 제시하며, 특히 $ f $ 가 강하게 볼록이고 $ \nabla f $ 가 리프시츠 연속일 경우에 해당한다.
• 일반화된 ADMM에 대해 원천 변수 $ \{x^k\} $, 이중 변수 $ \{p^k\} $, 및 $ \{Mx^k\} $ 의 R-선형 수렴을 보여주며, 이는 $ M $ 이 최소한의 열 랭크를 가진다는 조건 하에서 성립한다.
• $ S_{\lambda,\mathcal{A},\mathcal{B}}^{-1} $ 이 0에서 리프시츠 연속일 것 이라는 조건이, 기존 문헌의 가정들 — 예를 들어 [9] 및 [8] — 과 비교해 더 약한 것으로 밝혀졌다.
• 이 프레임워크는 ALM, ADMM, Douglas-Rachford, Peaceman-Rachford 및 그 일반화된 변형들의 수렴 분석을 통합하여, 이들의 선형 수렴에 대한 공통된 이론적 기반을 제공한다.