[論文レビュー] Riemannian Adaptive Optimization Algorithm and Its Application to Natural Language Processing

Hiroyuki Sakai, Hideaki Iiduka|arXiv (Cornell University)|Apr 2, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、リーマン多様体へAMSGradを拡張するリーマン多様体における適応的最適化アルゴリズムを提案し、定数学習率を用いてリーマン多様体上の確率的最適化問題を直接解くことを可能にした。Poincaré埋め込みおよび主成分分析において、既存の手法と比較してより高速かつ安定した収束を達成しており、特にWordNet階層タスクにおいてRSGD、RAdaGrad、RAdamを上回る性能を示した。

ABSTRACT

This paper proposes a Riemannian adaptive optimization algorithm to optimize the parameters of deep neural networks. The algorithm is an extension of both AMSGrad in Euclidean space and RAMSGrad on a Riemannian manifold. The algorithm helps to resolve two issues affecting RAMSGrad. The first is that it can solve the Riemannian stochastic optimization problem directly, in contrast to RAMSGrad which only achieves a low regret. The other is that it can use constant learning rates, which makes it implementable in practice. Additionally, we apply the proposed algorithm to Poincar{é} embeddings, which embed the transitive closure of the WordNet nouns into the Poincar{é} ball model of hyperbolic space. Numerical experiments show that regardless of the initial value of the learning rate, our algorithm stably converges to the optimal solution and converges faster than RSGD, the most basic Riemannian stochastic optimization algorithm.

研究の動機と目的

• RAMSGradの限界を解消することを目的とし、これはレグルス最小化にしか達しないが、減少する学習率を必要とする。
• 多様体上でのリーマン最適化問題を直接解くことができるリーマン多様体適応的最適化アルゴリズムの開発。
• 従来の手法が消失する学習率のため無効化されるのを避けるために、定数学習率をサポートすることで実用的導入を可能にすること。
• 自然言語処理タスク、特に階層的データのためのPoincaré埋め込みへの応用。
• 既存のリーマン最適化手法と比較して、収束速度と安定性に優れた性能を示すこと。

提案手法

• 指数写像および並進移動を用いたリーマン幾何学的演算を通じて、ユークリッド空間におけるAMSGradをリーマン多様体へ拡張した修正版RAMSGradアルゴリズム（アルゴリズム1）を提案。
• 2階のモーメント推定に基づく適応的学習率を用い、適応的分散推定の平方根の逆数スケーリングによる再重み付けを実施。
• 双曲空間のPoincaréボールモデルにアルゴリズムを適用し、階層的データ（例：WordNet）を自然に表現できる多様体構造を活用。
• 標準的な仮定の下で収束解析を実施し、定数および減少する学習率の両方において収束を証明。
• 直接最適解への収束を保証する、新たなレグルスバウンド解析を導入。これはレグルス最小化にとどまらず、最適解への収束を示す。
• 多様体上での反復点を維持するため、リトラクションおよびベクトル輸送を組み込んだ、Adam型更新則のリーマン版を採用。

実験結果

リサーチクエスチョン

• RQ1 レグルス最小化にとどまらず、リーマン最適化問題を直接解くことができるリーマン多様体適応的最適化アルゴリズムを設計できるか？
• RQ2 減少する学習率ではなく定数学習率を用いることで、実用的であるとされるようなアルゴリズムを設計できるか？
• RQ3 提案手法は、Poincaré埋め込みタスクにおいて、RSGD、RAdaGrad、RAdamといった既存のリーマン適応的手法よりも収束が速く安定しているか？
• RQ4 Poincaré埋め込みや主成分分析といった異なる学習問題において、定数学習率と減少学習率の選択が性能に与える影響は何か？
• RQ5 実世界のNLP応用において、初期学習率の値に依存しない頑健な性能を達成できるか？

主な発見

• 提案手法は、WordNet哺乳類サブツリーにおけるPoincaré埋め込みタスクにおいて、RSGD、RAdaGrad、RAdamと比較して最適解への収束がより速い。
• 初期学習率の値にかかわらず安定した収束を示し、ハイパーパramータ初期化に対する頑健性を示した。
• 定数学習率を用いることで、既存手法に比べて収束速度と安定性に優れ、特に双曲空間埋め込みにおいて顕著な優位性を示した。
• 収束解析により、標準的な仮定の下で最適解への直接収束が保証された。これは、単なるレグルス最小化ではなく、最適解への収束を示す。
• 主成分分析においても性能が向上し、定数学習率と減少学習率の使用によって収束挙動がデータセットに依存する傾向を示した。
• 理論的解析により、定数および減少学習率の両方において収束が保証された。特に、補題3.1により、定数学習率が実用的応用に適していることが確認された。