[논문 리뷰] The proximal point algorithm in geodesic spaces with curvature bounded above

Yasunori Kimura, Fumiaki Kohsaka|arXiv (Cornell University)|2017. 04. 19.

Optimization and Variational Analysis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 곡률 상한이 있는 완전한 지오데식 공간, 특히 허용 가능한 CAT(1) 공간에서 프록시멀 포인트 알고리즘의 수렴성과 최소화자 존재성을 확립한다. 알고리즘이 생성하는 수열이 구형 유계이면서 스텝 크기의 합이 무한대일 경우, 수열은 약한 수렴성($\Delta$-수렴)을 통해 최소화자로 수렴하며, 함수 값에 대해 명시적인 초선형 수렴 속도를 제공한다.

ABSTRACT

We investigate the asymptotic behavior of sequences generated by the proximal point algorithm for convex functions in complete geodesic spaces with curvature bounded above. Using the notion of resolvents of such functions, which was recently introduced by the authors, we show the existence of minimizers of convex functions under the boundedness assumptions on such sequences as well as the convergence of such sequences to minimizers of given functions.

연구 동기 및 목표

• 힐버트 공간과 CAT(0) 공간에서의 프록시멀 포인트 알고리즘을 곡률 상한이 있는 지오데식 공간, 특히 CAT(1) 공간으로 확장하기 위해.
• 이러한 공간에서 프록시멀 포인트 알고리즘으로 생성된 수열이 최소화자를 가지는 조건을 확립하기 위해.
• $\Delta$-수렴을 통해 수열이 최소화자로 수렴하고 함수 값에 대한 정량적 수렴 속도를 제공하기 위해.
• 힐버트 공간과 CAT(0) 공간에서의 기존 결과를 곡률 상한이 있는 더 넓은 CAT(1) 공간의 클래스로 일반화하기 위해.

제안 방법

• 힐버트 공간과 CAT(0) 공간에서 사용하는 제곱 거리 대신 $ \tan d(y,x) \sin d(y,x) $ 항을 사용하여 CAT(1) 공간 내의 볼록 함수에 대해 새로운 리졸베ント 연산자를 정의한다.
• 모든 거리가 $ \pi/2 $ 이하이도록 보장하기 위해, 모든 거리가 $ \pi/2 $ 이하인 '허용 가능한' CAT(1) 공간의 개념을 도입한다. 이를 통해 리졸베ント이 잘 정의됨을 보장한다.
• 수열의 구형 유계성, 즉 $ \inf_{y \in X} \limsup_{n \to \infty} d(y,x_n) < \pi/2 $로 정의된 개념을 최소화자 존재성의 핵심 조건으로 사용한다.
• 반복적 절차 $ x_{n+1} = \arg\min_{y \in X} \left\{ f(y) + \frac{1}{\lambda_n} \tan d(y,x_n) \sin d(y,x_n) \right\} $ 를 통해 프록시멀 포인트 알고리즘을 적용한다.
• 곡률 상한이 있는 메트릭 공간에서 기하학적 및 변분 기법을 사용하여 수열 $ \{x_n\} $ 의 점근적 행동을 분석한다.
• $\Delta$-수렴성과 초선형 수렴 속도를 확립하기 위해, 함수 값 갭을 스텝 크기의 합과 최소화자까지의 초기 거리와 연결한다.

실험 결과

연구 질문

• RQ1 완전한 CAT(1) 공간에서 프록시멀 포인트 알고리즘이 볼록 함수의 최소화자로 수렴하는 수열을 생성하는 조건은 무엇인가?
• RQ2 이러한 공간에서 수열의 구형 유계성과 최소화자 존재성 간의 관계는 무엇인가?
• RQ3 CAT(1) 공간에서의 프록시멀 포인트 알고리즘 수렴 거동은 힐버트 공간과 CAT(0) 공간에서의 수렴 거동과 어떻게 비교되는가?
• RQ4 이 설정에서 함수 값에 대해 명시적인 초선형 수렴 속도를 도출할 수 있는가?
• RQ5 어떤 기하학적 조건이 곡률 상한이 있는 공간에서 리졸베ント 연산자가 잘 정의되고 수렴하도록 보장하는가?

주요 결과

• 허용 가능한 완전한 CAT(1) 공간에서 적절하고 하향 연속적인 볼록 함수의 최소화자 집합은 비어 있지 않다. 이는 프록시멀 포인트 알고리즘으로 생성된 수열이 구형 유계이면서 $ \sup_n d(x_{n+1}, x_n) < \pi/2 $ 를 만족할 때에 한하여 성립한다.
• 최소화자 집합이 비어 있지 않은 경우, 수열 $ \{x_n\} $ 은 최소화자 집합의 원소로 $\Delta$-수렴한다.
• 함수 값 갭은 모든 $ u \in \arg\min_X f $ 에 대해 $ f(x_{n+1}) - \inf f(X) \leq \frac{C}{\sum_{k=1}^n \lambda_k} \bigl(1 - \cos d(u,x_1)\bigr) $ 를 만족하며, 이는 초선형 수렴 속도를 보장한다.
• 수렴 결과는 $ \kappa > 0 $ 인 일반적인 $ \textup{CAT}(\kappa) $ 공간으로 확장되며, 이 경우 경계는 $ \sqrt{\kappa} $ 비례하며 조건은 $ \inf_y \limsup_n d(y,x_n) < \pi/(2\sqrt{\kappa}) $ 과 $ \sup_n d(x_{n+1},x_n) < \pi/(2\sqrt{\kappa}) $ 로 변형된다.
• 이전의 힐버트 공간과 CAT(0) 공간에서의 결과를 일반화하고 정밀화하였으며, [9]에서 독립적으로 확보된 $\Delta$-수렴 결과와 일관된다.
• 논문은 CAT(1) 공간에서 프록시멀 포인트 알고리즘이 곡률과 유계성 제약 조건 하에서 잘 정의되고 효과적이며, 스텝 크기의 자연스러운 합계 조건 하에서 수렴 보장을 제공함을 확인한다.