[論文レビュー] Geoopt: Riemannian Optimization in PyTorch

Max Kochurov, Rasul Karimov+1 more|arXiv (Cornell University)|May 6, 2020

Advanced Numerical Analysis Techniques参考文献 35被引用数 49

ひとこと要約

Geooptは、PyTorchベースのモジュラライブラリで、リーマン幾何最適化をPyTorchとシームレスに統合し、双曲幾何をサポートし、幾何学的深層学習のための多様体対応の最適化手法とレイヤーを提供します。

ABSTRACT

Geoopt is a research-oriented modular open-source package for Riemannian Optimization in PyTorch. The core of Geoopt is a standard Manifold interface that allows for the generic implementation of optimization algorithms. Geoopt supports basic Riemannian SGD as well as adaptive optimization algorithms. Geoopt also provides several algorithms and arithmetic methods for supported manifolds, which allow composing geometry-aware neural network layers that can be integrated with existing models.

研究の動機と目的

• ニューロンネットワークにおけるリーマン幾何最適化のためのPyTorch統合のドロップインインターフェースを提供する。
• 幾何学的深層学習のための幅広い多様体と幾何学的に意識した演算をサポートする。
• 多様体上の適応的手法を含む堅牢で効率的な最適化アルゴリズムを提供する。
• 幾何学的に意識したレイヤーの組み合わせを可能にし、既存のPyTorchモデルとの互換性を確保する。

提案手法

• 一般的な多様体上の最適化のための標準的なManifoldインターフェースを導入する。
• PyTorchのオプティマイザに準拠する多様体対応の最適化アルゴリズム（例：Riemannian Adam、Riemannian SGD）を実装する。
• 点と方向を、egrad2rgrad変換を用いて周囲のベクトル空間の埋め込みとして表現する。
• いくつかの多様体（Sphere、Stiefel、Birkhoff Polytope、Stereographic hyperbolic models、Lorentz）および積/スケール変種を提供する。
• 積の多様体上でのリトラクション、指数写像、接ベクトルの伝搬による効率的な更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 リーマン幾何最適化をPyTorchエコシステムにドロップインコンポーネントとして統合するにはどうすればよいか？
• RQ2 深層学習アプリケーションにとって最も有用な多様体と幾何学的プリミティブは何か（例：双曲空間、ユニタリ制約、直交性）？
• RQ3 適応的・疎勾配の最適化アルゴリズムを多様体上で効果的に実現して、トレーニングの安定性と性能を向上させることができるか？

主な発見

• GeooptはPyTorchのオプティマイザとトレーニングループに組み込める多様体対応の最適化フレームワークを提供します。
• Poincaré ball、Hyperboloid、一般化κ-Stereographicモデルを介した双曲深層学習をサポートし、幾何学的に意識したニューラルネットワークを可能にします。
• 多様体パラメータ向けの適応的最適化アルゴリズム（RiemannianAdam、SparseRiemannianAdam）およびSGDの派生型が利用可能です。
• 積型多様体とスケール付き多様体により、複数の幾何学を組み合わせ、リーマン幾何最適化における標準多様体を拡張します。