[論文レビュー] Trivializations for Gradient-Based Optimization on Manifolds

Mario Lezcano-Casado|arXiv (Cornell University)|Sep 20, 2019

Neural Networks and Applications参考文献 52被引用数 35

ひとこと要約

本論文は、多様体制約付き最適化を無制約問題へ変換するための trivializations を導入し、2つの主要ファミリ（リーマン幾何の指数写像と Lie 指数写像）とその動的拡張を分析し、行列多様体とニューラルタスクにおける最適化性能の改善を示す。

ABSTRACT

We introduce a framework to study the transformation of problems with manifold constraints into unconstrained problems through parametrizations in terms of a Euclidean space. We call these parametrizations "trivializations". We prove conditions under which a trivialization is sound in the context of gradient-based optimization and we show how two large families of trivializations have overall favorable properties, but also suffer from a performance issue. We then introduce "dynamic trivializations", which solve this problem, and we show how these form a family of optimization methods that lie between trivializations and Riemannian gradient descent, and combine the benefits of both of them. We then show how to implement these two families of trivializations in practice for different matrix manifolds. To this end, we prove a formula for the gradient of the exponential of matrices, which can be of practical interest on its own. Finally, we show how dynamic trivializations improve the performance of existing methods on standard tasks designed to test long-term memory within neural networks.

研究の動機と目的

• パラメータ化（trivializations）を介して制約付き多様体最適化を無制約問題に変換する動機付け。
• trivializations が妥当であり多様体上の計量変換として機能する条件を特徴づける。
• 2つの大きな trivializations ファミリ（リーマン幾何の指数写像と Lie 指数写像）を比較し、それらの限界を特定する。
• trivializations とリーマン勾配降下の間を補間する動的 trivializations を導入する。
• 指数写像および Lie パラメトリゼーションの勾配計算ツールを提供し、実用的な利点を示す。

提案手法

• trivialization を R^n から多様体 M へのサージェクティブ写像として定義し、同相写像の下での計量変化としての影響を分析する。
• 2 つの主要な trivializations（リーマン幾何の指数写像と Lie の指数写像）を研究し、それらの微分同相性と cut loci 近傍の鞍点の可能性を含めて扱う。
• 鞍点を回避し両アプローチの利点を組み合わせるため、接空間での最適化と再パラメータ化を交互に行う動的 trivializations を導入する。
• 行列指数写像パラメトリゼーションの勾配公式を導出し、実用的な最適化を可能にする（∇(f∘exp))(A) = (d exp)_{A^T}(∇f(e^A)).
• 一般的な多様体（例: SO(n)）の実用的なリトラクションおよび射影ベースのリトラクションを論じる。
• Lie 指数写像パラメトリゼーションの勾配計算戦略と、それらを行列 Lie 群上の動的 trivializations に適用する方法を提供する。

実験結果

リサーチクエスチョン

• RQ1 どの条件下で trivialization は多様体上の勾配ベース最適化に対して妥当な変換をもたらすのか。
• RQ2 リーマン指数写像と Lie 指数写像がそれぞれの境界領域の近傍でどのように振る舞い、どのような限界があるのか。
• RQ3 動的 trivializations は鞍点や局所最小の問題を緩和し、trivializations とリーマン勾配降下の間を補間できるか。
• RQ4 行列指数写像および Lie 指数写像の勾配を、行列多様体上の実用的な最適化のためにどのように効率的に計算できるか。
• RQ5 動的 trivializations はニューラルネットワークにおける多様体制約を含む標準タスクの性能を改善するか。

主な発見

• φ が微分同相写像であるとき、trivializations は多様体上の勾配法の収束性を保持するような計量の変換として作用する。
• リーマン指数写像と Lie 指数写像の trivializations は cut locus や境界領域の近傍で鞍点や局所解を生む可能性がある。
• 動的 trivializations は trivializations とリーマン勾配降下の間の連続性を提供し、接空間上のユークリッド最適化子を路に沿って基底を適応させつつ活用する最適化手法を可能にする。
• 行列指数写像パラメトリゼーションの勾配公式により、機械精度の勾配計算で Lie ベースの trivializations を実用的に活用できる。
• 動的 trivializations は直交制約タスクや標準的なニューラルネットのメモリベンチマークで性能を向上させ、MNIST、p-MNIST、Timit の実験で従来法より改善を示す。
• 本論文は一般的な行列多様体に対する実用的な実装を提供し、リトラクションと射影を計算ツールとして論じる。