[논문 리뷰] Optimal Nonergodic Sublinear Convergence Rate of Proximal Point Algorithm for Maximal Monotone Inclusion Problems

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|2019. 04. 11.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 유한차원 유클리드 공간(차원이 2 이상일 경우)에서 최대 단조 포함 문제에 대한 프록시멀 포인트 알고리즘(PPA)의 정확한 최적 비ergodic 하위선형 수렴 속도를 확립한다. 성능 평가 프레임워크를 사용하여 가장 악성 수렴 속도를 수식화하고 이를 준정방형 프로그램(SDP)으로 재구성함으로써, 이중 타당해를 통해 날카운 상한을 도출하고, 이 상한을 정확히 만족하는 두 차원 예시를 통해 최적성을 확인한다. 이로 인해 정확한 수렴 속도 $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$를 도출한다.

ABSTRACT

We establish the optimal nonergodic sublinear convergence rate of the proximal point algorithm for maximal monotone inclusion problems. First, the optimal bound is formulated by the performance estimation framework, resulting in an infinite dimensional nonconvex optimization problem, which is then equivalently reformulated as a finite dimensional semidefinite programming (SDP) problem. By constructing a feasible solution to the dual SDP, we obtain an upper bound on the optimal nonergodic sublinear rate. Finally, an example in two dimensional space is constructed to provide a lower bound on the optimal nonergodic sublinear rate. Since the lower bound provided by the example matches exactly the upper bound obtained by the dual SDP, we have thus established the worst case nonergodic sublinear convergence rate which is optimal in terms of both the order as well as the constants involved. Our result sharpens the understanding of the fundamental proximal point algorithm.

연구 동기 및 목표

• 최대 단조 포함 문제에 대한 프록시멀 포인트 알고리즘(PPA)의 정확한 최악의 경우 비ergodic 하위선형 수렴 속도를 규명하는 것.
• 기존 상한과 진정한 최악의 경우 속도 사이의 격차를 좁히기 위해 날카운 상한과 하한을 동시에 확립하는 것.
• 기존의 $O(1/N)$ 수렴 속도가 순서뿐 아니라 상수 요소에서도 최적임을 입증하기 위해 구축된 예시를 통해 정확한 상수를 도출하는 것.
• 성능 평가 프레임워크(PEP)를 무한차원 비볼록 최적화 문제에 적용하고, 이를 유한차원 준정방형 프로그램(SDP)으로 재구성하는 것.

제안 방법

• 성능 평가 프레임워크를 적용하여 PPA의 최악의 경우 수렴 속도를 무한차원 비볼록 최적화 문제로 모델링한다.
• PEP 방법론을 사용하여 무한차원 문제를 유한차원 볼록 준정방형 프로그램(SDP)으로 등가로 재구성한다.
• 준정방형 프로그램(SDP)의 이중 타당해를 명시적으로 구성하여 최적 수렴 속도의 상한을 유도한다.
• PPA 반복이 알고리즘 체계를 만족하고 고정점 잔여항이 유도된 상한에 정확히 도달하는 두 차원 예시를 구축한다.
• 예시가 ${\cal M}$-인터폴레이터블임을 보여주어, 구성된 연산자가 최대 단조적이며 반복이 PPA 역학을 따름을 확인한다.
• 예시에서 고정점 잔여항을 명시적으로 계산하여 상한과 정확히 일치하는 수렴 속도를 도출함으로써 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 차원 $n \geq 2$에서 최대 단조 포함 문제에 대한 프록시멀 포인트 알고리즘의 정확한 최악의 경우 비ergodic 하위선형 수렴 속도는 무엇인가?
• RQ2 기존의 $O(1/N)$ 수렴 속도는 상수 요소 측면에서 더욱 날카롭게 개선될 수 있는가? 만약 그렇다면 최적의 상수 요소는 무엇인가?
• RQ3 성능 평가 프레임워크는 정규성 가정이 없더라도 비ergodic PPA에 대해 정확한 최악의 경우 경계를 도출할 수 있는가?
• RQ4 이중 SDP로부터 유도된 상한에 정확히 도달하는 두 차원 예시를 구성할 수 있는가? 이를 통해 최적성을 입증할 수 있는가?
• RQ5 상수 요소와 순서 양면에서 가장 날카로운 수렴 속도를 나타내는가? $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$의 경계는 PPA에 대해 가능한 한 가장 날카로운가?

주요 결과

• 차원 $n \geq 2$인 $\mathbb{R}^n$에서 최대 단조 포함 문제에 대한 프록시멀 포인트 알고리즘의 정확한 최악의 경우 비ergodic 하위선형 수렴 속도는 $\frac{1}{(1 + \frac{1}{N})^N (N+1)}$이며, 여기서 $N$은 반복 횟수이다.
• 이 수렴 속도는 순서와 상수 요소 양면에서 최적임이 상한과 하한이 정확히 일치함으로써 확인된다.
• 상한은 성능 평가 문제의 준정방형 프로그램(SDP) 재구성에 대한 이중 타당해를 통해 도출된다.
• 하한은 로테이션 기반 단조 연산자 $A(w) = \tan(\theta) \begin{pmatrix} 0 & 1 \\ -1 & 0 \end{pmatrix} w$를 포함하는 두 차원 예시를 통해 달성되며, 이는 모든 PPA 역학과 단조성 조건을 만족한다.
• 구성된 예시는 상한이 개선될 수 없음을 확인하며, 이는 순서와 상수 요소 양면에서 최적임을 입증한다.
• 이 결과는 이전의 $O(1/N)$ 경계보다 $\exp(-1)$ 요소만큼 향상되어, 기존 경계와 진정한 최악의 경우 속도 사이의 격차를 제거한다.