[論文レビュー] Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems

Molei Tao, Tomoki Ohsawa|arXiv (Cornell University)|Jan 27, 2020

Optimization and Variational Analysis被引用数 6

ひとこと要約

本稿では、ベクトル空間から多様体へと一般化されたNesterov加速勾配（NAG）変分原理を、リー群上に応用する変分的NAG動的モデルを提案する。特にSO(n)に対して、群の属する性質とエネルギー保存を維持する連続的かつ構造を保全する離散的アルゴリズムを導出しており、一般化固有値問題（GEV）において優れた収束性能を示しており、MNISTにおけるLDAを含む代表的な問題でも優れた性能を発揮している。

ABSTRACT

The article considers smooth optimization of functions on Lie groups. By generalizing NAG variational principle in vector space (Wibisono et al., 2016) to Lie groups, continuous Lie-NAG dynamics which are guaranteed to converge to local optimum are obtained. They correspond to momentum versions of gradient flow on Lie groups. A particular case of $\\mathsf{SO}(n)$ is then studied in details, with objective functions corresponding to leading Generalized EigenValue problems: the Lie-NAG dynamics are first made explicit in coordinates, and then discretized in structure preserving fashions, resulting in optimization algorithms with faithful energy behavior (due to conformal symplecticity) and exactly remaining on the Lie group. Stochastic gradient versions are also investigated. Numerical experiments on both synthetic data and practical problem (LDA for MNIST) demonstrate the effectiveness of the proposed methods as optimization algorithms ($not$ as a classification method).

研究の動機と目的

• ベクトル空間からリー群へとNesterov加速勾配（NAG）変分原理を一般化し、曲がった多様体上でのモーメンタムに基づく最適化を可能にする。
• 群の属する性質やエネルギーの振る舞いといった幾何的構造を保全するリー群上での連続的および離散的力学系を構築する。
• データサイエンスと線形代数の根幹をなす非凸最適化問題である（一般化）固有値問題（GEV）に、このフレームワークを適用する。
• MNISTデータセットを用いた線形判別分析（LDA）を含む実世界のデータに対して、提案手法の有効性を示す。分類性能がSOTAを狙うのではなく、収束性の向上を目的とする。
• 固有値ギャップの条件が満たされない状況でも安定に動作し、最小限のハイパーパrameterチューニングで、GHAなどの既存手法を上回る収束速度を達成することを示す。

提案手法

• Wibisonoら（2016）のベクトル空間上でのNAG変分原理をリー群へ一般化し、リー群の接バンドル上に定義された2階常微分方程式（ODE）として連続的リーNAG動的モデルを導出する。
• 左自明化を用いてリー代数を用いて速度を表現することで、SO(n)上でのリーNAG動的モデルの明示的座標表現を導出する。
• エネルギーの振る舞いを保全し、リー群多様体への正確な適合を保証するため、保角シンプレクティック積分法を用いて連続的動的モデルを離散化する。
• 特に非ゼロ温度下での数値的不変分布に起因する問題を解消するため、収束を安定化させる補正済み散逸項を動的モデルに導入する。
• 目的関数のヘッシアンのバッチ近似を用いて確率的勾配に適応させ、分散の影響を補正する項を追加することで、収束性を維持する。
• 公平な比較のため、GHAアルゴリズムの修正版（Runge-Kutta-4に基づく）を採用し、精度が不十分な場合にはEuler積分法を用いる。

実験結果

リサーチクエスチョン

• RQ1 Nesterov加速勾配（NAG）変分原理は、ベクトル空間からリー群へ一般化可能であり、収束性とモーメンタムの利点を保つことができるか？
• RQ2 リー群上での連続的NAG動的モデルは、特にSO(n)に対して座標で明示的に定式化可能か？ その幾何的および力学的性質は何か？
• RQ3 リーNAG動的モデルの構造を保全する離散化により、リー群上に正確に留まり、エネルギーを保存する最適化アルゴリズムが得られるか？
• RQ4 MNISTにおけるLDAを含む実データ上での収束速度と頑健性について、GHAなどの既存手法と比較して、提案手法はどのように異なるか？
• RQ5 固有値ギャップが存在しない状況下でも、提案手法は有効に機能するか？ これは、パワー法に基づくアルゴリズムが失敗または遅延を示す場合に特に重要である。

主な発見

• 提案されたリーNAG動的モデルは、局所最小値に収束し、合成的および実世界の一般化固有値問題において、標準的なリー勾配降下（Lie-GD）およびGHAを上回る収束速度を示す。
• 多クラスLDAにおけるMNISTデータセットにおいて、リーNAG-CおよびリーNAG-SCアルゴリズムは、最小限のハイパーパrameterチューニングでもGHAを著しく上回る収束速度を達成する。
• NAG-Cに導入された補正済み散逸項により、数値的不変分布に起因する非ゼロ誤差での停滞を防ぎ、収束が安定化する。
• リーNAG手法は固有値ギャップを必要とせず、パワー法に基づく手法が失敗または遅延を示す状況でも頑健であることを示した。
• 数値実験では、離散的アルゴリズムがリー群（SO(n)）上に正確に留まり、保角シンプレクティック性のおかげでエネルギーの振る舞いを保存していることが確認された。 偏りは主に機械精度に起因する。
• 確率的バージョンのアルゴリズムは、バッチ勾配近似下でも収束性を維持しており、補正済み散逸項が長期的な性能向上に重要な役割を果たしている。