[論文レビュー] Information Geometry of Orthogonal Initializations and Training

Piotr Sokół, Il Memming Park|arXiv (Cornell University)|Oct 9, 2018

Stochastic Gradient Optimization Techniques参考文献 40被引用数 7

ひとこと要約

本稿は、深層ニューラルネットワークにおける最適化の歪みの最大曲率—Fisher 情報行列（FIM）で測定される—と入力出力ヤコビ行列の固有値半径との間の関係を確立する。小さな初期 FIM 曲率（ヤコビ行列の最大特異値が小さいことと関連）は、高速な学習と優れた一般化を示すが、逆説的であるが、最小曲率を持つ極めて等長的なネットワークは、学習中に FIM 固有値が急速に増大するため、性能が劣る。学習全体を通じて直交性を保つ多様体最適化は、初期の滑らかさにかかわらず、標準的なユークリッド最適化を上回る。これは勾配の滑らかさだけでは、学習速度の優位性を説明できないことを示唆する。

ABSTRACT

Recently mean field theory has been successfully used to analyze properties of wide, random neural networks. It gave rise to a prescriptive theory for initializing feed-forward neural networks with orthogonal weights, which ensures that both the forward propagated activations and the backpropagated gradients are near $\ell_2$ isometries and as a consequence training is orders of magnitude faster. Despite strong empirical performance, the mechanisms by which critical initializations confer an advantage in the optimization of deep neural networks are poorly understood. Here we show a novel connection between the maximum curvature of the optimization landscape (gradient smoothness) as measured by the Fisher information matrix (FIM) and the spectral radius of the input-output Jacobian, which partially explains why more isometric networks can train much faster. Furthermore, given that orthogonal weights are necessary to ensure that gradient norms are approximately preserved at initialization, we experimentally investigate the benefits of maintaining orthogonality throughout training, from which we conclude that manifold optimization of weights performs well regardless of the smoothness of the gradients. Moreover, motivated by experimental results we show that a low condition number of the FIM is not predictive of faster learning.

研究の動機と目的

• 情報幾何の観点から、臨界的な等長初期化が深層ネットワークの高速学習を可能にする理由を解明すること。
• Fisher 情報行列（FIM）が学習ダイナミクスと一般化性能を予測する役割を調査すること。
• 学習中に直交性を維持することで、初期の勾配保存を越えて最適化が改善されるかどうかを検討すること。
• 極めて等長的で初期 FIM 曲率が最小のネットワークが、やや等長的でないものよりも遅く学習するという逆説を解明すること。
• FIM 条件数が低いと高速学習が予測できるかを評価し、最近の仮定に疑問を呈すること。

提案手法

• ガウス分布および等長初期化の下で、FIM の最大固有値 λ_max(Ḡ) と入力出力ヤコビ行列の最大二乗特異値 s_max² の間の新しい境界を導出する。
• この境界を用いて、ヤコビ行列スペクトルとパラメータ空間における局所的勾配滑らかさの関係を分析する。
• ニューラル接続核（NTK）およびそのスペクトル的性質を用いて、特に最小 FIM 固有値の役割を含め、学習発散ダイナミクスを説明する。
• 重みの直交性を維持する Stiefel 多様体および Oblique 多様体上でのリーマン最適化と、ユークリッド空間上の確率的勾配降下法の訓練ダイナミクスを比較する。
• FIM 固有値の学習中の変化を分析し、曲率の変化が学習率と収束性に与える影響を評価する。
• Lee ら [19] の NTK 残差に関する理論的境界を応用し、FIM スペクトルと一般化・学習安定性の関係を結びつける。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおける Fisher 情報行列の最大固有値は、入力出力ヤコビ行列の固有値半径とどのように関係するか？
• RQ2 初期 FIM 曲率が最小の極めて等長的なネットワークは、好ましい初期化にもかかわらず、なぜより遅く学習するのか？
• RQ3 FIM の条件数が、深層ニューラルネットワークにおける高速学習や良好な一般化を予測できるか？
• RQ4 学習全体を通じて直交性を保つ多様体最適化は、初期勾配滑らかさに依存せず、最適化速度を向上させるか？
• RQ5 NTK 理論が示唆するように、FIM の最小固有値が長期的な学習行動を支配する程度はどの程度か？

主な発見

• Fisher 情報行列の最大固有値 λ_max(Ḡ) は、入力出力ヤコビ行列の最大特異値の二乗 s_max² に比例し、ヤコビ行列スペクトルと最適化曲率との直接的な関係を示す。
• 初期 FIM 曲率が小さいネットワーク（s_max が小さい）は、高速に学習し、一般化性能も優れるが、最も等長的なネットワーク（q* が最小）は、学習中に λ_max(Ḡ) が急激に増加するため、最も性能が劣る。
• 極めて等長的なネットワークにおける性能の逆説的低下は、最小 FIM 固有値 λ_min(Ḡ) によって支配される線形化および完全な学習ダイナミクスの指数的発散によって説明できる。q* が小さくなるほど λ_min(Ḡ) は増加する。
• 多様体正則化訓練（Stiefel および Oblique 最適化）は初期 FIM 曲率に依存せず、初期滑らかさが優れているにもかかわらず、ユークリッド学習を上回る速い損失低下を達成する。
• 多様体最適化の利点は、改善された勾配滑らかさ（λ_max(Ḡ)）では説明できない。これは、バッチ正規化が類似のメカニズムで作用するとする最近の主張に反する。
• FIM の条件数（λ_max/λ_min）が低いことは、高速学習を予測できない。また、効果的な最適化にはある程度のスペクトル非対称性が必要である。