[論文レビュー] Efficient Riemannian Optimization on the Stiefel Manifold via the Cayley Transform

Jun Li, Fuxin Li+1 more|arXiv (Cornell University)|Feb 4, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 29

ひとこと要約

本稿では、反復的ケイリー変換リトラクションと暗黙的ベクトル輸送を用いて、パラメータ行列に正確な直交制約を課すための、2つの効率的なリーマン最適化アルゴリズム、Cayley SGD with momentum および Cayley ADAM を提案する。これらの手法は、既存の直交制約を課す手法と比較して、収束が速く、1イテレーションあたりの学習時間が短縮される一方で、CIFAR-10/100およびピクセル単位の MNIST タスクにおいて、モデル性能を維持または向上させる。

ABSTRACT

Strictly enforcing orthonormality constraints on parameter matrices has been shown advantageous in deep learning. This amounts to Riemannian optimization on the Stiefel manifold, which, however, is computationally expensive. To address this challenge, we present two main contributions: (1) A new efficient retraction map based on an iterative Cayley transform for optimization updates, and (2) An implicit vector transport mechanism based on the combination of a projection of the momentum and the Cayley transform on the Stiefel manifold. We specify two new optimization algorithms: Cayley SGD with momentum, and Cayley ADAM on the Stiefel manifold. Convergence of Cayley SGD is theoretically analyzed. Our experiments for CNN training demonstrate that both algorithms: (a) Use less running time per iteration relative to existing approaches that enforce orthonormality of CNN parameters; and (b) Achieve faster convergence rates than the baseline SGD and ADAM algorithms without compromising the performance of the CNN. Cayley SGD and Cayley ADAM are also shown to reduce the training time for optimizing the unitary transition matrices in RNNs.

研究の動機と目的

• ディープラーニングにおけるスタイーベル多様体上でのリーマン最適化の高い計算コストを解決すること。
• 直交行列の更新に高価な行列逆行列を回避する効率的なリトラクション機構を開発すること。
• ケイリー変換を介して暗黙的ベクトル輸送を導出し、スタイーベル多様体上でのモーメンタムベース最適化を可能にすること。
• 標準的な SGD および ADAM をスタイーベル多様体に一般化し、収束保証と計算効率を維持すること。
• 提案手法を CNN および RNN において実験的に検証し、収束の高速化と 1 イテレーションあたりの学習時間短縮を示すこと。

提案手法

• スタイーベル多様体上での効率的リトラクションを実現するため、高価な閉形式行列逆行列を避けるために、反復的ケイリー変換を導入。
• オーソゴナル変換の性質を活用し、ユークリッド空間におけるモーメンタム更新とケイリー変換を組み合わせることで、明示的平行輸送を回避する暗黙的ベクトル輸送機構を導出。
• 反復的ケイリー再帰的リトラクションと暗黙的ベクトル輸送を適用し、SGD にモーメンタムを拡張したものが Cayley SGD with momentum、ADAM を拡張したものが Cayley ADAM となる。
• 理論的分析により、標準的な仮定の下で Cayley SGD の収束を証明し、Cayley ADAM についても同様の収束挙動が期待される。
• 最適化中に直交性を維持するために反復的ケイリー変換を用い、Frobenius 範数誤差を用いてユニタリ行列への収束を検証。
• ケイリー変換の暗黙的射影性を活用し、ベクトル輸送を接空間への射影として表現する射影ベースのアプローチを採用。

実験結果

リサーチクエスチョン

• RQ1 反復的ケイリー変換は、スタイーベル多様体上でのリーマン最適化において、閉形式ケイリー変換の代わりに計算的に効率的な代替手段となり得るか？
• RQ2 ケイリー変換を介した暗黙的ベクトル輸送により、明示的平行輸送を伴わず、スタイーベル多様体上での有効なモーメンタムベース最適化が可能となるか？
• RQ3 Cayley SGD および Cayley ADAM は、CNN において、既存の直交制約を課す手法と比較して、収束が速く、1イテレーションあたりの学習時間が短いか？
• RQ4 提案手法は、CNN および RNN の両方において、正確な直交制約を課しながら、モデル性能を維持または向上させることができるか？
• RQ5 数値精度制約下でも、反復的ケイリー変換は閉形式バージョンと比較して、学習中に直交性をどれほど良好に保持できるか？

主な発見

• CIFAR-10 および CIFAR-100 の VGG および Wide ResNet モデルにおいて、直交制約のための1イテレーションコストが高価であるにもかかわらず、Cayley SGD および Cayley ADAM はベースラインの SGD および ADAM よりも収束速度が速い。
• ピクセル単位の MNIST タスクにおけるフル容量ユニタリ RNN において、閉形式ケイリー変換と比較して、提案手法は1イテレーションあたりの学習時間を最大35％短縮した。
• s=2 回の反復的ケイリー変換では、n=116 の場合に Frobenius 範数誤差が 7.384e-6、n=512 の場合に 2.562e-5 となり、丸め誤差が少ないため、閉形式ケイリー変換（8.273e-5 および 3.845e-5）を上回る性能を示した。
• Cayley SGD および Cayley ADAM は、Polar や QR、閉形式ケイリーといった最先端の直交制約手法と同等またはそれ以上のテスト精度を達成しながら、著しく高速である。
• モーメンタムとケイリー変換を組み合わせた暗黙的ベクトル輸送機構により、明示的ベクトル輸送を伴わず、安定的かつ効率的な最適化ダイナミクスを維持できた。
• ピクセル単位の MNIST タスクにおいて、Cayley SGD と Cayley ADAM は、それぞれ 92.8％ および 96.9％ の精度を達成し、TITAN Xp GPU 上で1イテレーションあたり 1.42 秒および 1.50 秒の学習時間を要した。これは、閉形式ケイリー法（2.10 秒および 2.44 秒）を上回る性能であった。