[論文レビュー] New perspectives on the natural gradient method.

James Martens|arXiv (Cornell University)|Dec 3, 2014

Advanced Optimization Algorithms Research参考文献 13被引用数 23

ひとこと要約

この論文は、一般条件の下でフィッシャー情報行列とシュラウドルフの一般化されたガウス＝ニュートン行列が等価であることを証明することで、アマリの自然勾配法の多様なバージョンを統一する。この結果、ヘッセ行列フリー最適化が自然勾配法の一種であることが明らかになる。自然勾配法は近似ニュートン法として再解釈され、正則化手法の正当化がなされ、パラメータ化不変性の特徴づけがなされ、古典的ニュートン・ラプソン法には見られないが、特定の勾配ベースの最適化手法には存在することが示される。

ABSTRACT

In this report we review and discuss some theoretical aspects of Amari's natural gradient method, provide a unifying picture of the many different versions of it which have appeared over the years, and offer some new insights and perspectives regarding the method and its relationship to other optimization methods. Among our various contributions is the identification of a general condition under which the Fisher information matrix and Schraudolph's generalized Gauss-Newton matrix are equivalent. This equivalence implies that optimization methods which use the latter matrix, such as the Hessian-free optimization approach of Martens, are actually natural gradient methods in disguise. It also lets us view natural gradient methods as approximate Newton methods, justifying the application of various damping techniques to them, which are designed to compensate for break-downs in local quadratic approximations. Additionally, we analyze the parameterization invariance possessed by the natural gradient method in the idealized setting of infinitesimally small update steps, and consider the extent to which it holds for practical versions of the method which take large discrete steps. We go on to show that parameterization invariance is not possessed by the classical Newton-Raphson method (even in the idealized setting), and then give a general characterization of gradient-based methods which do possess it.

研究の動機と目的

• 自然勾配法の異なる定式化を統合的に理論的枠組みにまとめる。
• フィッシャー情報行列とシュラウドルフの一般化されたガウス＝ニュートン行列が等価となる条件を特定する。
• ヘッセ行列フリー最適化が、形式的には自然勾配法と等価であることを確立する。
• 大きなステップを用いた実用的自然勾配実装におけるパラメータ化不変性の程度を分析する。
• パラメータ化不変性を保持する勾配ベース最適化手法を同定し、古典的ニュートン・ラプソン法と対比する。

提案手法

• フィッシャー情報行列とシュラウドルフの一般化されたガウス＝ニュートン行列が数学的に等価となる一般条件を導出する。
• 同定された行列の等価性を活用して、自然勾配法を近似ニュートン法として再解釈する。
• 自然勾配法に正則化手法を適用し、近似ニュートン法としての性質と局所的二次近似の破綻に起因する正当化をなす。
• 微分幾何学的原則を用いて、無限小ステップの理想化極限におけるパラメータ化不変性を分析する。
• 同じ理想化設定において、自然勾配法と古典的ニュートン・ラプソン法の不変性特性を比較する。
• ヘッセ行列近似構造に基づいて、パラメータ化不変性を保持する勾配ベース最適化手法の一般的特徴づけを提供する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報行列とシュラウドルフの一般化されたガウス＝ニュートン行列が等価となる一般条件は何か？
• RQ2 これらの行列の等価性が、ヘッセ行列フリー最適化が自然勾配法の一種であることをどのように示唆するか？
• RQ3 自然勾配法はどのように近似ニュートン法として解釈できるか？また、これにより正則化戦略にどのような影響を与えるか？
• RQ4 大きな離散的ステップを用いた実用的自然勾配法において、パラメータ化不変性はどの程度保持されるか？
• RQ5 パラメータ化不変性を保持する勾配ベース最適化手法は、もし存在するならば、どのようなものか？また、古典的ニュートン・ラプソン法とはどのように異なるか？

主な発見

• 一般条件の下で、フィッシャー情報行列とシュラウドルフの一般化されたガウス＝ニュートン行列は等価であり、2つの代表的な最適化フレームワークが統合される。
• マーテンズが提唱したヘッセ行列フリー最適化は、この行列の等価性のおかげで、形式的には自然勾配法の一種であることが示される。
• 自然勾配法は近似ニュートン法として解釈可能であり、局所的二次近似の失敗を補うために正則化手法の使用が正当化される。
• パラメータ化不変性は、無限小ステップの理想化極限において自然勾配法に成立するが、大きな離散的ステップを用いた実用的実装では損なわれる。
• 古典的ニュートン・ラプソン法ですら、理想化された無限小ステップ設定においてもパラメータ化不変性を有さない。
• ヘッセ行列近似構造に基づいて、パラメータ化不変性を保持する勾配ベース最適化手法の一般的特徴づけがなされ、ニュートン・ラプソン法とは異なり、構造的差異が浮き彫りにされる。