[論文レビュー] Accelerating Natural Gradient with Higher-Order Invariance

Yang Song, Song, Jiaming+1 more|arXiv (Cornell University)|Mar 4, 2018

Model Reduction and Neural Networks参考文献 20被引用数 6

ひとこと要約

本稿では、2次ランゲ＝クッタ積分法と測地線補正を活用して、モデルの再パrameterizationに対して不変性を保つ高次元の不変最適化手法を提案する。この手法により、深層ニューラルネットワークの学習および強化学習において、標準的な自然勾配と同等の計算効率を維持しながら、収束速度が向上する。

ABSTRACT

An appealing property of the natural gradient is that it is invariant to arbitrary differentiable reparameterizations of the model. However, this invariance property requires infinitesimal steps and is lost in practical implementations with small but finite step sizes. In this paper, we study invariance properties from a combined perspective of Riemannian geometry and numerical differential equation solving. We define the order of invariance of a numerical method to be its convergence order to an invariant solution. We propose to use higher-order integrators and geodesic corrections to obtain more invariant optimization trajectories. We prove the numerical convergence properties of geodesic corrected updates and show that they can be as computationally efficient as plain natural gradient. Experimentally, we demonstrate that invariance leads to faster optimization and our techniques improve on traditional natural gradient in deep neural network training and natural policy gradient for reinforcement learning.

研究の動機と目的

• 有限なステップサイズによる実用的自然勾配法における不変性の喪失を解消すること。
• リーマン幾何学および数値積分法における理想化された解への収束性として不変性を形式化すること。
• 再パrameterizationに対して不変性を保つ高次収束の数値積分法を開発すること。
• 深層学習および強化学習における最適化速度と安定性を向上させつつ、計算効率を損なわないこと。

提案手法

• 不変性の次数を、数値スキームが理想の真に不変な解へ収束する速度として定義する。
• 正確な解へ2次収束を達成するため、自然勾配ダイナミクスに2次ランゲ＝クッタ積分法を提案する。
• リーマン接続に基づく測地線補正を導入し、リーマンEuler法へ2次収束する不変性を向上させる。
• 双曲線数を用いた逆方向自動微分を活用して、測地線補正項を効率的に計算するアルゴリズムを導出する。
• 標準的な自然勾配と同程度の時間効率を維持しながら、2次不変性を保つ測地線補正の高速版を実装する。
• 提案手法を深層ニューラルネットワークおよび強化学習における自然方策勾配に、即座に置き換え可能な形で適用する。

実験結果

リサーチクエスチョン

• RQ1 自然勾配の数値積分スキームは、1次を超える再パrameterization不変性を保つように設計可能か？
• RQ2 数値法の収束次数は、リーマン最適化における不変性特性とどのように関係するか？
• RQ3 高次積分法および測地線補正は、深層学習および強化学習における最適化速度と安定性を向上させられるか？
• RQ4 測地線補正法はニュートン法を近似するのか、それとも曲率の仮定に依存せずに高次不変性を保つのか？
• RQ5 標準的な自然勾配と比較して、大規模モデルに適用する上での計算可能性は確保できるか？

主な発見

• 提案された2次ランゲ＝クッタ積分法は、正確な自然勾配解へ2次収束を達成し、1次Euler法よりも不変性が向上している。
• 測地線補正法はリーマンEuler法へ2次収束し、不変性および最適化安定性が顕著に向上している。
• 実験では、標準的な自然勾配と比較して、深層ニューラルネットワーク学習および自然方策勾配強化学習で収束が速くなっている。
• 測地線補正法は、計算効率が高く（標準的な自然勾配とほぼ同等）、2次不変性を維持している。
• 実験的結果から、測地線補正とニュートン型近似（例：perturb）との性能差は時間経過とともに拡大しており、本手法が小さな曲率仮定に依存していないことが示唆される。
• 小さな曲率近似は一時的なものであり、測地線補正の有効性は高次ヘッシアン近似によるものではなく、本質的な不変性の保存に起因する。