[논문 리뷰] Riemannian Adaptive Optimization Methods

Gary Bécigneul, Octavian-Eugen Ganea|arXiv (Cornell University)|2018. 10. 01.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 93

한 줄 요약

이 논문은 적응형 최적화 방법들(Adagrad, Adam, Amsgrad)을 리만 다양체들의 곱의 시공간에 일반화하고, 측지적으로 볼록한 목적함수에 대한 수렴 증명을 제공하며, 하이퍼볼릭 분류 임베딩에서의 실증적 이점을 보여준다.

ABSTRACT

Several first order stochastic optimization methods commonly used in the Euclidean domain such as stochastic gradient descent (SGD), accelerated gradient descent or variance reduced methods have already been adapted to certain Riemannian settings. However, some of the most popular of these optimization tools - namely Adam , Adagrad and the more recent Amsgrad - remain to be generalized to Riemannian manifolds. We discuss the difficulty of generalizing such adaptive schemes to the most agnostic Riemannian setting, and then provide algorithms and convergence proofs for geodesically convex objectives in the particular case of a product of Riemannian manifolds, in which adaptivity is implemented across manifolds in the cartesian product. Our generalization is tight in the sense that choosing the Euclidean space as Riemannian manifold yields the same algorithms and regret bounds as those that were already known for the standard algorithms. Experimentally, we show faster convergence and to a lower train loss value for Riemannian adaptive methods over their corresponding baselines on the realistic task of embedding the WordNet taxonomy in the Poincare ball.

연구 동기 및 목표

• 일반 리만 다양체에서 고유한 적응형 옵티마이저를 구축하는 데 직면하는 도전 과제를 설명한다.
• 다양체의 카테시안 곱에 대한 Adagrad, Adam, Amsgrad의 리만 버전을 제안한다.
• 곱 다양체에서의 측지적으로 볼록한 목적함수에 대한 수렴 분석을 제공한다.
• 하이퍼볼릭(Poincaré ball) 분류 임베딩 작업에서 방법들을 실험적으로 검증한다.

제안 방법

• 곱 다양체 설정에서 여러 구성요소(x = (x1,...,xn))에 걸친 적응적 업데이트를 형식화한다.
• 리만 기하학적 계(metric)을 사용하여 각 구성요소의 그래디언트 노름을 정의하고 업데이트를 스케일한다 (||g_t^i||_{x_t^i}).
• 본문의 내재적 지수 맵과 평행 전송을 갖춘 곱 다양체에서 Ramsgrad 및 RadamNc 알고리즘을 도출한다.
• 곡률을 zeta 항으로 포함하여 측지적으로 볼록한 설정에서 후회 경계 및 수렴 보장을 증명한다.
• 유클리드 공간의 Adagrad/Adam/Amsgrad와 비교하고 유클리드 결과가 회복되는 특수 경우를 논의한다.
• 재수렴(retraction) 및 지수 맵 업데이트를 사용하여 Poincaré 구에서 하이퍼볼릭 WordNet 임베딩을 실험한다.

실험 결과

연구 질문

• RQ1 적응형 최적화 방법을 Riemannian 다양체에 고유하게 확장하는 방법은 무엇인가?
• RQ2 다양체의 곱에서 좌표 간에 의미 있게 적응성을 구현할 수 있는가?
• RQ3 리만 버전의 Adagrad/Adam/Amsgrad가 수렴 보장을 제공하고 실질적 이점을 주는가?
• RQ4 곡률과 다양체 기하가 이들 적응 방식의 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 제안된 리만 적응 방법이 하이퍼볼릭 계통 임베딩과 같은 비유클리드 임베딩 작업에 유리한가?

주요 결과

• 리만 Adagrad, Ramsgrad, RadamNc는 구성요소별 적응 업데이트를 갖춘 카테시안 곱 다양체에서 가능하다.
• 수렴 보장(후회 경계)은 Ramsgrad와 RadamNc의 측지적으로 볼록한 목적함수에 대해 곡률 의존 항과 함께 확립된다.
• 다양체의 곡률은 경계에서 zeta 항을 통해 유클리드와 곡면적 경우 사이를 보간하는 형태로 나타난다.
• 하이퍼볼릭 WordNet 임베딩에 대한 실험 결과, 비적응 베이스라인에 비해 리만 적응 방법에서 더 빠른 수렴과 더 낮은 학습 손실을 보였다.
• retraction 기반 실험에서 Radam이 가장 낮은 학습 손실을 달성했고, Ramsgrad는 링크 예측 작업에서 일반화가 더 잘될 수 있다.