[논문 리뷰] Efficiently escaping saddle points on manifolds

Christopher Criscitiello, Nicolas Boumal|arXiv (Cornell University)|2019. 07. 25.

Stochastic Gradient Optimization Techniques인용 수 27

한 줄 요약

이 논문은 리만 다양체 위에서 비볼록 최적화를 위한 페르터베이션 리만 그래디언트 디센트(PRGD)를 제안하며, 다양체 위의 그래디언트 스텝과 그의 탄젠트 공간 내 페르터베이션 스텝을 구분한다. 이는 높은 확률로 O((log d)^4 / ε²)의 그래디언트 쿼리 수로 근사적인 2차 최적성을 달성함을 보여주며, 이는 유클리드 공간의 PGD와 동일한 복잡도를 가지며, 대규모 문제인 PCA 및 저질서 행렬 복원과 같은 문제에서 낮은 차원 의존도를 유지한다.

ABSTRACT

Smooth, non-convex optimization problems on Riemannian manifolds occur in machine learning as a result of orthonormality, rank or positivity constraints. First- and second-order necessary optimality conditions state that the Riemannian gradient must be zero, and the Riemannian Hessian must be positive semidefinite. Generalizing Jin et al.'s recent work on perturbed gradient descent (PGD) for optimization on linear spaces [How to Escape Saddle Points Efficiently (2017), Stochastic Gradient Descent Escapes Saddle Points Efficiently (2019)], we study a version of perturbed Riemannian gradient descent (PRGD) to show that necessary optimality conditions can be met approximately with high probability, without evaluating the Hessian. Specifically, for an arbitrary Riemannian manifold $\mathcal{M}$ of dimension $d$, a sufficiently smooth (possibly non-convex) objective function $f$, and under weak conditions on the retraction chosen to move on the manifold, with high probability, our version of PRGD produces a point with gradient smaller than $\epsilon$ and Hessian within $\sqrt{\epsilon}$ of being positive semidefinite in $O((\log{d})^4 / \epsilon^{2})$ gradient queries. This matches the complexity of PGD in the Euclidean case. Crucially, the dependence on dimension is low, which matters for large-scale applications including PCA and low-rank matrix completion, which both admit natural formulations on manifolds. The key technical idea is to generalize PRGD with a distinction between two types of gradient steps: ``steps on the manifold'' and ``perturbed steps in a tangent space of the manifold.'' Ultimately, this distinction makes it possible to extend Jin et al.'s analysis seamlessly.

연구 동기 및 목표

• 리만 다양체에 제약된 비볼록 최적화 문제에서 안장점에서 효율적으로 탈출하는 데 도전하는 것.
• 지난 등의 페르터베이션 그래디언트 디센트(PGD) 프레임워크를 유클리드 공간에서 리만 다양체로 확장하면서 수렴 보장을 유지하는 것.
• 해시안을 명시적으로 계산하지 않고도 근사적인 2차 최적성—소멸하는 그래디언트와 거의 양의 준정부호 해시안—을 달성하는 것.
• 다양체의 차원 d에 대해 낮은 의존도를 유지하여 PCA 및 저질서 행렬 복원과 같은 대규모 문제에 대한 확장성을 확보하는 것.

제안 방법

• 지난 등의 분석을 일반화하기 위해 다양체 위의 스텝과 탄젠트 공간 내 페르터베이션 스텝을 분리하는 PRGD의 변종을 도입한다.
• 탄젠트 벡터를 다양체로 다시 매핑하기 위해 리트랙션을 사용하여 탄젠트 공간의 타당한 반복값을 유지하면서 기하학적 구조를 보존한다.
• 안장점에서 탈출하기 위해 탄젠트 공간에서 무작위 페르터베이션을 적용하며, 유클리드 PGD의 페르터베이션 메커니즘을 모방한다.
• 일반적인 리만 설정에서 수렴을 보장하기 위해 리트랙션과 목적 함수 f의 부드러움에 대한 약한 가정에 의존한다.
• 2차 최적성 향한 진전을 추적하기 위해 일반화된 포텐셜 함수를 분석에 활용한다.
• 높은 확률로 리만 그래디언트 노름이 ε 이하이며, 해시안이 양의 준정부호가 되는 데서 √ε 이내에 있도록 수렴함을 확립한다.

실험 결과

연구 질문

• RQ1 페르터베이션 리만 그래디언트 디센트는 낮은 차원 의존도를 유지하면서 일반 리만 다양체에서 안장점에서 효율적으로 탈출할 수 있는가?
• RQ2 다양체에서 근사적인 2차 최적성을 달성하는 데 필요한 복잡도는 유클리드 경우와 비교해 어떻게 되는가?
• RQ3 다양체 스텝과 탄젠트 공간 내 페르터베이션 스텝을 구분하는 것이 PGD 분석을 리만 설정으로 확장하는 데 어떤 역할을 하는가?
• RQ4 해시안을 알고리즘에서 회피하면서도 거의 2차 최적점으로의 수렴을 보장할 수 있는가?
• RQ5 제안된 방법은 PCA 및 저질서 행렬 복원과 같은 대규모 문제에서 유리한 수렴 속도를 유지하는가?

주요 결과

• 제안된 PRGD 방법은 높은 확률로 O((log d)^4 / ε²)의 그래디언트 쿼리 수로 근사적인 2차 최적성을 달성하며, 유클리드 PGD와 동일한 복잡도를 가진다.
• 알고리즘은 해시안을 계산하지 않아도 되며, 오직 그래디언트 정보와 탄젠트 공간의 페르터베이션에 의존하여 안장점에서 효율적으로 탈출한다.
• 복잡도 상한에서 차원 d에 대한 의존도가 로그적임을 확인하여, PCA 및 저질서 행렬 복원과 같은 고차원 문제에 적합하다.
• 다양체 스텝과 페르터베이션 탄젠트 스텝을 구분함으로써 지난 등의 유클리드 PGD 프레임워크를 리만 다양체로 일반화한 분석을 수행한다.
• 높은 확률로 리만 그래디언트 노름이 ε 이하이며, 해시안이 양의 준정부호가 되는 데서 √ε 이내에 있음을 보장한다.
• 리트랙션과 목적 함수의 부드러움에 대한 약한 가정 하에서도 결과가 성립하여 광범위한 적용 가능성을 확보한다.