[논문 리뷰] Geoopt: Riemannian Optimization in PyTorch

Max Kochurov, Rasul Karimov외 1명|arXiv (Cornell University)|2020. 05. 06.

Advanced Numerical Analysis Techniques참고 문헌 35인용 수 49

한 줄 요약

Geoopt은 PyTorch 기반의 모듈형 라이브러리로, PyTorch와의 원활한 통합이 가능한 리만 최적화용 라이브러리이며, 히퍼볼릭 기하를 지원하고 기하학적 딥러닝을 위한 매니폴드 인지 최적화기 및 레이어를 제공합니다.

ABSTRACT

Geoopt is a research-oriented modular open-source package for Riemannian Optimization in PyTorch. The core of Geoopt is a standard Manifold interface that allows for the generic implementation of optimization algorithms. Geoopt supports basic Riemannian SGD as well as adaptive optimization algorithms. Geoopt also provides several algorithms and arithmetic methods for supported manifolds, which allow composing geometry-aware neural network layers that can be integrated with existing models.

연구 동기 및 목표

• 신경망에서 리만 최적화를 위한 PyTorch 통합 드롭인 인터페이스를 제공합니다.
• 기하학적 딥러닝을 위한 다양한 매니폴드와 기하학 인식 연산을 지원합니다.
• 매니폴드에서의 적응적 방법을 포함한 견고하고 효율적인 최적화 알고리즘을 제공합니다.
• 기하학 인식 레이어의 구성을 가능하게 하고 기존 PyTorch 모델과의 호환성을 보장합니다.

제안 방법

• 일반 매니폴드를 위한 표준 Manifold 인터페이스를 도입합니다.
• PyTorch 최적화기와 zgod를 준수하는 매니폴드 인식 최적화기(Riemannian Adam, Riemannian SGD 등)를 구현합니다.
• egrad2rgrad 변환을 통해 주변 벡터 공간의 임베딩으로 점과 방향을 표현합니다.
• Sphere, Stiefel, Birkhoff Polytope, Stereographic hyperbolic models, Lorentz 등의 여러 매니폴드와 곱/스케일 변형을 제공합니다.
• 곱 매니폴드에서 재정탈출(retractions), 지수 사상, 그리고 탄젠트 벡터 운반을 통해 효율적인 업데이트를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 리만 최적화를 PyTorch 생태계에 드롭인 컴포넌트로 어떻게 통합할 수 있는가?
• RQ2 딥러닝 응용에 가장 유용한 매니폴드와 기하학적 기본 원리는 무엇인가(예: 히퍼볼릭 공간, 단위 제약, 직교성)?
• RQ3 적응적이고 희소 그래디언트 최적화기가 매니폴드에서 효과적으로 구현되어 학습 안정성과 성능을 개선할 수 있는가?

주요 결과

• Geoopt은 PyTorch 최적화기 및 학습 루프에 연결되는 매니폴드 인식 최적화 프레임워크를 제공합니다.
• Poincaré ball, Hyperboloid, 그리고 일반화된 κ-Stereographic 모델을 통해 기하학 인식 신경망을 가능하게 하는 히퍼볼릭 딥러닝을 지원합니다.
• 매니폴드 매개변수에 대해 RiemannianAdam, SparseRiemannianAdam 및 SGD 변형과 같은 적응형 최적화기가 사용 가능합니다.
• Product 및 스케일링된 매니폴드를 통해 여러 기하학을 결합하고 리만 최적화에서 표준 매니폴드를 확장할 수 있습니다.