[論文レビュー] The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks

Ryo Karakida, Shotaro Akaho+1 more|arXiv (Cornell University)|Jun 7, 2019

Neural Networks and Applications被引用数 15

ひとこと要約

本稿では、Fisher情報行列（FIM）を用いて、広いニューラルネットワークにおける正規化手法の理論的分析を提案する。FIMを用いて損失関数の湾曲度（シャープネス）を定量化することで、特定の幅とサンプルサイズの条件下で、最終層におけるバッチ正規化が、異常な大きさのFIM固有値によって定義される病理的シャープネスを顕著に低減することを示している。一方、隠れ層におけるバッチ正規化やレイヤー正規化は、同様の効果を示さない。

ABSTRACT

Normalization methods play an important role in enhancing the performance of deep learning while their theoretical understandings have been limited. To theoretically elucidate the effectiveness of normalization, we quantify the geometry of the parameter space determined by the Fisher information matrix (FIM), which also corresponds to the local shape of the loss landscape under certain conditions. We analyze deep neural networks with random initialization, which is known to suffer from a pathologically sharp shape of the landscape when the network becomes sufficiently wide. We reveal that batch normalization in the last layer contributes to drastically decreasing such pathological sharpness if the width and sample number satisfy a specific condition. In contrast, it is hard for batch normalization in the middle hidden layers to alleviate pathological sharpness in many settings. We also found that layer normalization cannot alleviate pathological sharpness either. Thus, we can conclude that batch normalization in the last layer significantly contributes to decreasing the sharpness induced by the FIM.

研究の動機と目的

• 損失関数の幾何構造を分析することで、正規化手法が深層学習の性能を向上させる理由を理論的に理解すること。
• 広くランダムに初期化された深層ニューラルネットワークにおける、バッチ正規化とレイヤー正規化がFisher情報行列（FIM）に与える影響を調査すること。
• FIMにおける病理的かつ大きな固有値（シャープな最小値に対応）を軽減できる正規化手法の適用条件を同定すること。
• 特に最終層と隠れ層における正規化の役割の違いを明確にすること。

提案手法

• ランダム重みを有する広いニューラルネットワークにおける損失関数の局所的幾何構造を、Fisher情報行列（FIM）を用いて特徴づける。
• ランダム行列理論と平均場解析を適用し、広いネットワークの極限においてFIMの漸近的表現を導出する。
• 最大のFIM固有値に関連する固有空間を同定することで、病理的シャープネスの原因を特定する。
• 順序パラメータの収束速度を導出し、最終層におけるバッチ正規化がシャープネスを低減する条件を確立する。
• 解析的導出と漸近近似を用いて、最終層および隠れ層におけるバッチ正規化、およびレイヤー正規化の下でのFIM挙動を比較する。
• 順序パラメータの再帰関係を用いて逆FIMを計算し、正規化されたネットワークにおける固有値統計を分析する。

実験結果

リサーチクエスチョン

• RQ1 最終層におけるバッチ正規化が、広いニューラルネットワークにおいて病理的シャープネスを軽減する条件は何か？
• RQ2 実際の学習ダイナミクスの改善にもかかわらず、隠れ層におけるバッチ正規化がなぜシャープネスを低減できないのか？
• RQ3 FIMおよび損失関数の幾何構造に対する、レイヤー正規化とバッチ正規化の影響を比較するとどうなるか？
• RQ4 ネットワークの幅と学習サンプルサイズが、FIMに基づくシャープネス低減の有効性に与える影響は何か？
• RQ5 FIMは、深層学習における正規化の一般化性能および最適化の利点を説明する理論的ツールとして用いられるか？

主な発見

• ネットワークの幅とサンプルサイズが特定の収束条件を満たす限り、最終層におけるバッチ正規化はFisher情報行列（FIM）の最大固有値を顕著に低減し、病理的シャープネスを軽減する。
• 最終層におけるバッチ正規化の有効性は、順序パラメータの収束速度に依存しており、幅とサンプルサイズが適切にスケーリングされる場合にシャープネス低減が達成される。
• 隠れ層におけるバッチ正規化は、多くの設定において病理的シャープネスを軽減できない。これは、ネットワークの階層的構造に起因し、FIMの最大固有値が依然として大きいためである。
• レイヤー正規化もまた、病理的シャープネスを低減しない。この正規化スキームでは、FIMの最大固有値が是正されないまま残る。
• 出力ユニット数 C=2 の場合、平均値の減算と分散正規化の対称性によりFIMがゼロになるため、退化した状態となり、通常の設定とは関係がない。
• 実験結果から、最終層におけるバッチ正規化によるシャープネス低減が、より大きな学習率で高速な収束を可能にすることが示唆され、実用的利点を裏付けている。