[논문 리뷰] Escaping from saddle points on Riemannian manifolds

Yue Sun, Nicolas Flammarion외 1명|arXiv (Cornell University)|2019. 06. 18.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 14

한 줄 요약

이 논문은 매끄러운 리만 다양체 위에서 2차 정류점으로 수렴하는 흐름이 있는 리만 기울기 하강 알고리즘을 제안하며, 사다리꼴 지점들을 회피하고 $ O(1/\tau^2) $ 수렴 속도를 가지며, 다양체 차원 $ d $ 에 대해 다항로그적이고, 곡률 및 매끄러움 매개변수에 대해 다항식적이다. 이는 비제약 유계 최적화에서 알려진 최상의 속도와 일치한다.

ABSTRACT

We consider minimizing a nonconvex, smooth function $f$ on a Riemannian manifold $\mathcal{M}$. We show that a perturbed version of Riemannian gradient descent algorithm converges to a second-order stationary point (and hence is able to escape saddle points on the manifold). The rate of convergence depends as $1/ε^2$ on the accuracy $ε$, which matches a rate known only for unconstrained smooth minimization. The convergence rate depends polylogarithmically on the manifold dimension $d$, hence is almost dimension-free. The rate also has a polynomial dependence on the parameters describing the curvature of the manifold and the smoothness of the function. While the unconstrained problem (Euclidean setting) is well-studied, our result is the first to prove such a rate for nonconvex, manifold-constrained problems.

연구 동기 및 목표

• 비볼록 최적화에서 리만 다양체 위의 1차 방법에 대한 수렴 속도 보장이 부족한 문제, 특히 사다리꼴 지점 근처에서의 문제를 다루기 위해.
• 흐름이 있는 리만 기울기 하강법이 사다리꼴 지점들을 회피하고 2차 정류점으로 수렴할 수 있으며, 이를 정량화할 수 있는 수렴 속도를 확립하기 위해.
• 차원에 거의 의존하지 않는 수렴 속도를 유도하며, 이는 다양체 곡률과 함수의 매끄러움에 명시적으로 의존한다. 이는 이전 방법들이 기하적 구조를 은폐하는 것과는 대조된다.
• 매장된 유클리드 표현에 의존하지 않고, 함수의 매끄러움과 다양체 곡률의 역할을 명확히 분리하는 기하학적으로 타당한 분석을 제공하기 위해.

제안 방법

• 각 반복 단계에서 노이즈를 주입하여 사다리꼴 지점들을 회피하는 흐름이 있는 리만 기울기 하강 알고리즘을 제안한다.
• 지수 사상과 리만 헤시안을 기반으로 한 국소 모델을 사용하여 수렴성을 분석하며, 근사 사다리꼴 지점 근처의 행동에 초점을 맞춘다.
• 접선 공간 내에서 반복값과 흐름된 방향 사이의 결합을 이용하여 이격도를 제한하고 사다리꼴 영역에서의 탈출을 보장한다.
• 헤시안의 고유공간 내에서 검색 방향의 노름에 대한 재귀 관계를 유도하여, 음의 곡률 방향으로의 진전을 추적한다.
• 리아푸노프 유사 방법을 사용하여 헤시안의 가장 작은 고유벡터 방향으로 반복값의 성분이 지수적으로 증가함을 보여, 탈출을 보장한다.
• 제안된 방법은 임베딩된 유클리드 표현에 의존하지 않으며, 다양체의 접선 공간에 적응된 볼륨 분석을 사용하여, 고착 영역에서의 탈출 확률이 아래로 유계임을 증명한다. 이는 Jin 등 (2017a)의 방법과 유사하지만 리만 기하학에 맞게 조정되었다.

실험 결과

연구 질문

• RQ1 흐름이 있는 리만 기울기 하강법은 비제약 유클리드 설정에서와 동일한 수렴 속도로 리만 다양체 위의 사다리꼴 지점들을 회피할 수 있는가?
• RQ2 수렴 속도는 다양체의 차원, 곡률, 함수의 매끄러움 매개변수에 어떻게 의존하는가?
• RQ3 함수의 매끄러움과 다양체 기하학의 기여를 명확히 분리할 수 있는가, 아니면 이들을 함께 묶는가?
• RQ4 수렴 속도가 다양체 차원에 대해 다항로그적인가? 이는 거의 차원에 무관한 성능을 의미한다.

주요 결과

• 흐름이 있는 리만 기울기 하강 알고리즘이 $ O(1/\tau^2) $ 수렴 속도로 2차 정류점으로 수렴하며, 이는 비제약 매끄러운 비볼록 최적화에서 알려진 최상의 속도와 일치한다.
• 수렴 속도는 다양체 차원 $ d $ 에 대해 다항로그적이다. 이는 거의 차원에 무관한 성능을 의미한다.
• 속도는 함수의 헤시안 리프시츠 상수 $ \rho $ 와 다양체의 단면 곡률에 다항식적으로 의존하며, 기하학적 요소와 분석적 요소를 명시적으로 분리한다.
• 분석은 다양체를 유클리드 공간에 매장하지 않고도 기하학적으로 타당한 프레임워크를 제공하며, 내재된 리만 기하학적 구조를 유지한다.
• 고착 영역에서의 탈출 확률은 접선 공간의 볼륨 분석을 사용하여 아래로 유계이며, Jin 등 (2017a)의 방법과 유사하지만 리만 기하학에 맞게 조정되었다.
• 이 결과는 비볼록, 다양체 제약이 있는 문제에 대해 이러한 속도를 처음으로 확립한 것으로, 리만 최적화 이론에서 핵심적인 격차를 메운다.