[論文レビュー] Understanding Approximate Fisher Information for Fast Convergence of Natural Gradient Descent in Wide Neural Networks

Ryo Karakida, Kazuki Osawa|arXiv (Cornell University)|Oct 2, 2020

Stochastic Gradient Optimization Techniques参考文献 30被引用数 15

ひとこと要約

本稿は、広大な全結合ニューラルネットワークにおける自然勾配降下法（NGD）が、ブロック対角、ブロック三重対角、K-FAC、ユニット単位の近似を含むさまざまな近似フィッシャー情報行列を用いる場合、正確なNGDと同等の高速収束を全範囲最小値に達成することを理論的に確立している。主な洞察は、これらの近似が関数空間における等方的勾配を生じさせることであり、これによりNTKとは無関係に高速収束が実現可能となる。特に、ネットワーク幅と学習率に特定の条件が満たされれば、層別またはユニット別近似でも同様の性能が得られる。

ABSTRACT

Natural Gradient Descent (NGD) helps to accelerate the convergence of gradient descent dynamics, but it requires approximations in large-scale deep neural networks because of its high computational cost. Empirical studies have confirmed that some NGD methods with approximate Fisher information converge sufficiently fast in practice. Nevertheless, it remains unclear from the theoretical perspective why and under what conditions such heuristic approximations work well. In this work, we reveal that, under specific conditions, NGD with approximate Fisher information achieves the same fast convergence to global minima as exact NGD. We consider deep neural networks in the infinite-width limit, and analyze the asymptotic training dynamics of NGD in function space via the neural tangent kernel. In the function space, the training dynamics with the approximate Fisher information are identical to those with the exact Fisher information, and they converge quickly. The fast convergence holds in layer-wise approximations; for instance, in block diagonal approximation where each block corresponds to a layer as well as in block tri-diagonal and K-FAC approximations. We also find that a unit-wise approximation achieves the same fast convergence under some assumptions. All of these different approximations have an isotropic gradient in the function space, and this plays a fundamental role in achieving the same convergence properties in training. Thus, the current study gives a novel and unified theoretical foundation with which to understand NGD methods in deep learning.

研究の動機と目的

• 自然勾配降下法（NGD）におけるフィッシャー情報行列（FIM）のヒューリスティックな近似が、計算コストが高いため理論的裏付けに欠けるものの、実際にはうまく機能する理由を解明する理論的ギャップを埋める。
• 深層ニューラルネットワークの無限幅極限において、近似FIMを用いたNGDの漸近的学習ダイナミクスを分析する。
• 異なるFIM近似（例：ブロック対角、K-FAC、ユニット単位）が正確なNGDの高速収束を保持するための明確な条件を同定する。
• 関数空間における勾配の等方的性質が、多様なNGD近似において高速収束を統一的に説明する原理である役割を明確にする。

提案手法

• 本研究は、無限幅極限における広大な全結合ニューラルネットワークの関数空間における学習ダイナミクスを分析するため、ニューラル接線カーネル（NTK）フレームワークを用いる。
• 近似FIMを用いたNGDの漸近的ダイナミクスを導出し、特定の条件下で正確なNGDと関数空間で同等であることを示す。
• 解析は層別近似（ブロック対角、ブロック三重対角、K-FAC）およびユニット別近似に焦点を当て、学習率がネットワーク幅やサンプルサイズに適切にスケーリングされている場合、正確なNGDと同一の収束行動を示すことを証明する。
• FIMの逆行列の安定化のため、正のダミングパラメータ ρ > 0 を導入し、線形化されたダイナミクスと真のダイナミクスとの乖離に関する境界を導出。M → ∞ の極限で収束が成立することを示す。
• 高速収束を可能にする主要なメカニズムは、近似FIMの構造から生じる関数空間における勾配の等方的性質であると確立する。
• 数値実験により理論的予測の妥当性を検証し、特にユニット別NGDにおいて理論的収束率と実際の学習ダイナミクスを比較する。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位またはユニット単位のFIM近似を用いた近似NGDが、広大なニューラルネットワークにおいて正確なNGDと同等の高速収束を達成する条件は何か？
• RQ2 K-FAC やブロック対角といった実用的FIM近似が、理論的不確実性があるにもかかわらず実際にはうまく機能する理由は何か？
• RQ3 FIM近似のどの構造的性質が関数空間における高速収束を保証し、NTKとどのように関係しているか？
• RQ4 異なるFIM近似からどのように関数空間における勾配の等方的性質が生じるのか？そしてなぜそれが高速収束にとって不可欠なのか？

主な発見

• ブロック対角、ブロック三重対角、K-FAC、ユニット単位のFIM近似を用いた近似NGDは、深層ニューラルネットワークの無限幅極限において、正確なNGDと同等の高速収束を全範囲最小値に達成する。
• 学習率がネットワーク幅またはサンプルサイズに適切にスケーリングされている限り、これらの近似と正確なNGDの間で関数空間における収束ダイナミクスは同一である。
• 高速収束を可能にする主要なメカニズムは、近似FIMの構造から生じる関数空間における勾配の等方的性質であり、これはNTKとは独立している。
• ユニット別NGDは、ダミングパラメータ ρ > 0 が小さいがゼロでない条件下で高速収束を達成し、収束率は A³ρ⁻⁶/√M で有界であり、M → ∞ の極限で消える。
• 数値実験により、ブロック別およびユニット別近似では等方的条件が成立するが、エントリ別対角近似では成立せず、これがその性能の劣化を説明する。
• パrameter空間における学習ダイナミクスは近似方法によって異なり、同じ関数空間ダイナミクスであっても、異なる全範囲最小値およびテスト予測をもたらす。