[논문 리뷰] On the Optimal Ergodic Sublinear Convergence Rate of the Relaxed Proximal Point Algorithm for Variational Inequalities

Guoyong Gu, Junfeng Yang|arXiv (Cornell University)|2019. 05. 15.

Optimization and Variational Analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 성능 평가 프레임워크를 사용하여 단조성 변분부등식을 해결하기 위한 유연한 프락시멀 포인트 알고리즘(RPPA)의 최적의 에르고딕 하위선형 수렴 속도를 확립한다. 최악의 경우 수렴 속도가 정확히 $\frac{1}{2(\lambda N + 2)}$임을 증명하며, 이는 수치적으로 계산된 상한과 구성된 하한과 일치하여, 순서와 상수 모두에서 최적성임을 확인한다.

ABSTRACT

This paper investigates the optimal ergodic sublinear convergence rate of the relaxed proximal point algorithm for solving monotone variational inequality problems. The exact worst case convergence rate is computed using the performance estimation framework. It is observed that, as the number of iterations getting larger, this numerical rate asymptotically coincides with an existing sublinear rate, whose optimality is unknown. This hints that, without further assumptions, sublinear convergence rate is likely the best achievable rate. A concrete example is constructed, which provides a lower bound for the exact worst case convergence rate. Amazingly, this lower bound coincides with the exact worst case bound computed via the performance estimation framework. This observation motivates us to conjecture that the lower bound provided by the example is exactly the worse case iteration bound, which is then verified theoretically. We thus have established an ergodic sublinear convergence rate that is optimal in terms of both the order of the sublinear rate and all the constants involved.

연구 동기 및 목표

• 단조성 변분부등식을 위한 유연한 프락시멀 포인트 알고리즘(RPPA)의 정확한 최악의 경우 수렴 속도를 결정하는 것.
• 성능 평가 프레임워크를 통해 기존 이론적 하위선형 상한과 수치적으로 계산된 최악의 경우 수렴 속도 사이의 격차를 메우는 것.
• 최악의 경우 수렴 속도에 대한 하한을 제공하는 구체적인 예를 구성하여 최적성의 검증을 수행하는 것.
• 하위선형 수렴 속도 $\frac{1}{2(\lambda N + 2)}$가 순서와 상수 양면에서 최적이며, 이로 인해 경계의 날카러움(tightness)이 확인되는 것을 확립하는 것.

제안 방법

• 성능 평가 프레임워크를 적용하여 단조성 변분부등식에 대한 RPPA의 정확한 최악의 경우 수렴 속도를 계산하는 것.
• 비볼록 이차 행렬 문제의 형태로, 유연화 및 쌍대화된 문제를 사용하여 최악의 성능에 대한 상한을 유도하는 것.
• 볼록 보간 기법을 통해 성능 평가 문제를 준선형 최적화 문제로 변환하는 것.
• 특정 예시를 구성하여 단조적이고 연속적인 사상 $F$와 볼록 집합 $\Omega$를 제공함으로써 최악의 경우 수렴 속도에 대한 하한을 도출하는 것.
• 대수적 변형과 부등식(Cauchy-Schwarz, 삼각 부등식)을 사용하여 에르고딕 반복 오차를 $\|w - w_0\|_H^2$의 함수로 경계하는 것.
• 유도된 하한이 수치적으로 계산된 상한과 정확히 일치함을 보여주어 최적성의 증명을 이끌어내는 것.

실험 결과

연구 질문

• RQ1 유연한 PPA가 단조성 변분부등식에 대해 정확히 어떤 최악의 경우 에르고딕 하위선형 수렴 속도를 가지는가?
• RQ2 성능 평가 프레임워크를 통해 수치적으로 계산된 최악의 경우 수렴 속도가 이론적 하한과 일치하는가?
• RQ3 구성된 예시가 성능 평가 상한과 정확히 일치하는 하한을 제공할 수 있는가? 이는 최적성의 의미를 갖는다.
• RQ4 하위선형 수렴 속도 $\frac{1}{2(\lambda N + 2)}$는 순서와 상수 양면에서 최적이기는 한가?
• RQ5 성능 평가 프레임워크를 사용하여 추가 가정 없이 RPPA에 대해 날카로운 비점근 수렴 경계를 확립할 수 있는가?

주요 결과

• 단조성 변분부등식에 대한 유연한 PPA의 정확한 최악의 경우 수렴 속도는 $\varepsilon^*(N) = \frac{1}{2(\lambda N + 2)}$이다.
• 성능 평가 프레임워크는 渐近적으로 알려진 이론적 하위선형 수렴 속도와 일치하는 수치적 최악의 경우 상한을 제공한다.
• 구성된 예시는 최악의 경우 수렴 속도에 대한 하한을 제공하며, 이는 성능 평가 상한과 정확히 일치한다.
• 이 일치는 $\frac{1}{2(\lambda N + 2)}$가 순서와 상수 양면에서 최적의 에르고딕 하위선형 수렴 속도임을 이론적으로 증명하는 데로 이어진다.
• 기존의 $\frac{1}{2\lambda(N+1)}$에서 $\frac{1}{2\lambda N + 4}$로 약간 향상되어 격차가 제거되고 경계의 날카러움이 달성된다.
• 결과적으로, 추가 가정 없이도 이 설정에서 유연한 PPA에 대해 하위선형 수렴이 가능한 최선의 속도임을 확인한다.