[論文レビュー] Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach

Ryo Karakida, Shotaro Akaho+1 more|arXiv (Cornell University)|Jun 4, 2018

Neural Networks and Applications参考文献 46被引用数 50

ひとこと要約

本論文は、ランダム重みを持つ深層ネットワークに対するフィッシャー情報行列(FIM)の普遍的な漸近統計を、大幅な幅拡張により導出し、固有値の多くがほぼゼロ近傍に、いくつかが非常に大きいことを示し、これを学習戦略と結びつける。

ABSTRACT

The Fisher information matrix (FIM) is a fundamental quantity to represent the characteristics of a stochastic model, including deep neural networks (DNNs). The present study reveals novel statistics of FIM that are universal among a wide class of DNNs. To this end, we use random weights and large width limits, which enables us to utilize mean field theories. We investigate the asymptotic statistics of the FIM's eigenvalues and reveal that most of them are close to zero while the maximum eigenvalue takes a huge value. Because the landscape of the parameter space is defined by the FIM, it is locally flat in most dimensions, but strongly distorted in others. Moreover, we demonstrate the potential usage of the derived statistics in learning strategies. First, small eigenvalues that induce flatness can be connected to a norm-based capacity measure of generalization ability. Second, the maximum eigenvalue that induces the distortion enables us to quantitatively estimate an appropriately sized learning rate for gradient methods to converge.

研究の動機と目的

• フィッシャー情報行列(FIM)を用いて、ランダム初期化された広いDNN全体にわたるパラメータ空間の普遍的な幾何ビューを動機づける。
• 平均場理論を用いて、大幅な幅拡張の極限におけるFIM固有値の漸近統計（平均、分散、最大値）を導出する。
• 層ごとのマクロ状態量が再帰関係を通じてFIM統計を支配することを示す。
• Fisher-Raoノルムの解釈や勾配法の学習率指針など、学習への実践的影響を探る。

提案手法

• 平均場解析を可能にするため、ランダム結合で大きな幅を採用し、層ごとの幅比を固定する。
• 前向き/後向き伝播の再帰を通じて、マクロ状態量 (hat{q}^l, hat{q}_{st}^l, tilde{q}^l, tilde{q}_{st}^l) を定義・計算する。
• 双対行列 F^* を用いて、大規模M極限でのFIMの固有値統計を導出する。
• マクロ変数の観点で、平均、二次モーメント、最大固有値を与える定理1–4を確立する。
• 定理5（Fisher-Raoノルム）および定理7（臨界学習率）を通じて、FIM統計と学習戦略を結びつける。

実験結果

リサーチクエスチョン

• RQ1 ランダム重みを持つ深層ネットのFIM固有値は、アーキテクチャを超えて普遍的な漸近統計を示すか。
• RQ2 FIMの平均、分散、最大固有値は、ネットワークの幅と深さとともにどう尺度されるか。
• RQ3 層ごとの再帰を通じて、マクロな平均場変数がFIM統計を完全に決定できるか。
• RQ4 FIM由来の統計が一般化能力指標や実践的な学習率の指標にどう寄与するか。
• RQ5 FIMの幾何が、自然勾配法やモーメンタムを用いたSGDなどの最適化手法にどのような影響を与えるか。

主な発見

• FIM固有値の平均は m_{lambda} = C kappa_{1} / M のスケールで、O(1/M) に消失する。
• 2次モーメント s_{lambda} は O(1) で、多くがゼロ近傍、尾が重い歪みを示す。
• 最大固有値は lambda_max = alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M となり、巨大な支配的方向を示す。
• Fisher-Raoノルムは境界付けられ、幅が大きい極限で主に kappa_{1} に支配される（定理5）。
• 学習率の境界が現れ: eta_c = 2(1+mu) / ( alpha ((T-1)/T kappa_{2} + (1/T) kappa_{1}) M )、収束を指針（定理7）。
• 理論は、tanh、ReLU、線形活性化関数の大規模Mにおける実験と整合する。