[論文レビュー] New insights and perspectives on the natural gradient method

James Martens|arXiv (Cornell University)|Dec 3, 2014

Sparse and Compressive Sensing Techniques参考文献 56被引用数 95

ひとこと要約

この論文は、自然勾配法をフィッシャー情報行列をヘシアン近似として用いる2次最適化手法として再解釈し、多くの場合で一般化ガウス＝ニュートン行列と同等であることを示している。凸2次関数における確率的自然勾配降下法の理論的収束速度を確立し、経験的フィッシャー行列の近似の批判を行い、自然勾配が近似的にパrameterization不変性を保つことを示している。信頼領域とチホノフ正則化による実用的設計の知見を提供する。

ABSTRACT

Natural gradient descent is an optimization method traditionally motivated from the perspective of information geometry, and works well for many applications as an alternative to stochastic gradient descent. In this paper we critically analyze this method and its properties, and show how it can be viewed as a type of 2nd-order optimization method, with the Fisher information matrix acting as a substitute for the Hessian. In many important cases, the Fisher information matrix is shown to be equivalent to the Generalized Gauss-Newton matrix, which both approximates the Hessian, but also has certain properties that favor its use over the Hessian. This perspective turns out to have significant implications for the design of a practical and robust natural gradient optimizer, as it motivates the use of techniques like trust regions and Tikhonov regularization. Additionally, we make a series of contributions to the understanding of natural gradient and 2nd-order methods, including: a thorough analysis of the convergence speed of stochastic natural gradient descent (and more general stochastic 2nd-order methods) as applied to convex quadratics, a critical examination of the oft-used "empirical" approximation of the Fisher matrix, and an analysis of the (approximate) parameterization invariance property possessed by natural gradient methods (which we show also holds for certain other curvature, but notably not the Hessian).

研究の動機と目的

• 自然勾配法を、ヘシアンの代替としてフィッシャー情報行列を用いる2次最適化手法として再フレームする。
• 凸2次関数の確率的自然勾配降下法の収束速度を分析する。
• 広く用いられる経験的フィッシャー行列近似の批判的評価とその限界を検討する。
• 自然勾配法のパrameterization不変性の性質を他の曲率に基づく手法と比較して調査する。
• 安定した自然勾配最適化器のための実用的設計原則を提供する。これには減衰と正則化技術が含まれる。

提案手法

• フィッシャー情報行列をヘシアン近似として扱うことで、自然勾配降下法を2次手法として再解釈する。
• 特に指数型分布族の尤度を持つニューラルネットワークにおいて、フィッシャー行列が一般化ガウス＝ニュートン行列と同等であることを示す。
• 信頼領域とチホノフ正則化を用いて自然勾配更新を安定化させ、実用的な耐障害性を向上させる。
• 再帰的不等式から導かれる境界を用いて、凸2次関数における確率的自然勾配降下法の収束速度を分析する。
• 再パラメータ化下での経路の同等性を調べるため、連続時間極限の分析を実施し、一様連続性と有界性の条件に依存する。
• 異なるパラメータ化における自然勾配経路間の誤差に理論的境界を導出し、特定の条件下で漸近的経路同等性を証明する。

実験結果

リサーチクエスチョン

• RQ1 自然勾配法は、ニュートン法などの古典的2次最適化手法とどのように関係しているか？
• RQ2 凸2次関数の確率的自然勾配降下法の収束速度はどの程度か？
• RQ3 なぜ経験的フィッシャー行列近似は、真のフィッシャー行列の重要な幾何的性質を保持できないのか？
• RQ4 自然勾配法は、有限ステップサイズのもとで実際にはどの程度パラメータ化不変性を保っているのか？
• RQ5 信頼領域とチホノフ正則化は、自然勾配最適化の安定性と耐障害性を向上させるためにどのように利用できるか？

主な発見

• 特に指数型分布族の尤度を持つモデルにおいて、フィッシャー情報行列が多くの重要なケースで一般化ガウス＝ニュートン行列と同等であることが示された。
• 凸2次関数における確率的自然勾配降下法は、ヘシアンの条件数とフィッシャー行列の曲率に依存する収束速度を示し、再帰的不等式から明示的な境界が導出された。
• 経験的フィッシャー行列近似は、真の自然勾配のパラメータ化不変性の性質を保持できず、多くの応用において理論的根拠を損なう。
• 自然勾配降下法は、更新方向が一様連続であり、ステップサイズが0に近づく場合にのみ、有限ステップサイズのもとで近似的にパラメータ化不変性を保つ。
• 信頼領域とチホノフ正則化は、近似フィッシャー行列を用いる場合に特に自然勾配更新を安定化させるために不可欠であることが示された。
• 理論的分析により、近似曲率行列を用いても、弱い正則性条件のもとで自然勾配更新の経路が真の自然勾配の連続的軌道に収束することが確認された。