[論文レビュー] Catastrophic Fisher Explosion: Early Phase Fisher Matrix Impacts Generalization

Stanisław Jastrzȩbski, Devansh Arpit+7 more|arXiv (Cornell University)|Dec 28, 2020

Neural Networks and Applications被引用数 13

ひとこと要約

本稿は、小さな学習率で初期学習を行うと、フィッシャー情報行列（FIM）のトレースが急激に増加する『Catastrophic Fisher Explosion』と呼ばれる現象を特定した。この現象は、一般化性能の低下と強く相関している。本稿では、SGDが学習開始からFIMトレースを暗黙的に正則化していることを示し、FIMトレースを明示的にペナルティ化することで、ノイズの多いラベルでの学習を遅くし、過学習を軽減することで一般化性能が向上することを示した。

ABSTRACT

The early phase of training a deep neural network has a dramatic effect on the local curvature of the loss function. For instance, using a small learning rate does not guarantee stable optimization because the optimization trajectory has a tendency to steer towards regions of the loss surface with increasing local curvature. We ask whether this tendency is connected to the widely observed phenomenon that the choice of the learning rate strongly influences generalization. We first show that stochastic gradient descent (SGD) implicitly penalizes the trace of the Fisher Information Matrix (FIM), a measure of the local curvature, from the start of training. We argue it is an implicit regularizer in SGD by showing that explicitly penalizing the trace of the FIM can significantly improve generalization. We highlight that poor final generalization coincides with the trace of the FIM attaining a large value early in training, to which we refer as catastrophic Fisher explosion. Finally, to gain insight into the regularization effect of penalizing the trace of the FIM, we show that it limits memorization by reducing the learning speed of examples with noisy labels more than that of the examples with clean labels.

研究の動機と目的

• 初期段階の最適化ダイナミクス、特に局所的曲率がディープニューラルネットワークの最終的な一般化性能に与える影響を調査すること。
• 確率的勾配降下法（SGD）が学習開始からフィッシャー情報行列（FIM）のトレースを暗黙的に正則化する役割を検証すること。
• FIMトレースの明示的正則化が、最適でない学習率によって損なわれた一般化性能を回復できるかどうかを特定すること。
• FIM正則化がクリーンなラベルとノイズの多いラベルの両方における学習速度に与える影響、特に過学習との関係を分析すること。

提案手法

• 著者らは、複数のデータセットとアーキテクチャにおいて、初期学習段階（2〜7エポック）の間、フィッシャー情報行列（FIM）のトレースを計算した。
• 異なる学習率とバッチサイズを用いた確率的勾配降下法（SGD）を用い、FIMトレースの変化と最終的なテスト精度との相関関係を観察した。
• FIMトレースに対するL2正則化を導入した「フィッシャーペナルティ」を提案し、一般化性能および過学習への影響を評価した。
• 異なる学習率における訓練ダイナミクスを比較し、高い初期FIMトレースが一般化性能の低下を予測することを示した。
• ノイズの多いラベルを用いた実験を通じて、FIM正則化が誤ったラベルの例に対して学習速度を遅くするかどうかを検証した。
• Wide ResNet、VGG-11、SimpleCNNなどの複数のモデルと、TinyImageNet、CIFAR-10、CIFAR-100などの複数のデータセットを用い、異なる設定での結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報行列（FIM）トレースの初期段階における変化は、ディープニューラルネットワークの最終的な一般化性能と相関するか？
• RQ2 FIMトレースの明示的正則化が、最適でない学習率によって引き起こされた一般化性能の低下を回復できるか？
• RQ3 なぜFIMトレースのペナルティ化が、特にノイズの多いラベルの存在下でも一般化性能を向上させるのか？
• RQ4 SGDによるFIMトレースの暗黙的正則化が、大きな学習率の一般化利点を生み出している要因であると想定できるか？
• RQ5 高い初期FIMトレースは、鋭い最小値への偏りと過学習の傾向を示唆するか？

主な発見

• 小さな学習率で学習をすると、初期学習段階でFIMトレースが急激に上昇し、これが最終的な一般化性能の低下と強く相関する。この現象は『Catastrophic Fisher Explosion』と呼ばれる。
• ImageNet、CIFAR-10、CIFAR-100の複数のデータセットにおいて、2〜7エポックの初期段階で計算されたFIMトレースは、異なる学習率やバッチサイズの設定下でも、最終的なテスト精度を予測可能である。
• FIMトレースの明示的ペナルティ化により、一般化性能が著しく向上し、最適な学習率を使用しても同様の効果が得られ、小さな学習率によって損なわれた性能を回復できる。
• フィッシャーペナルティは、ノイズの多いラベルの例の学習速度をクリーンなラベルの例よりも顕著に遅くする。これは、誤った例へのフィッティングを遅らせることで、過学習を緩和している可能性を示唆している。
• FIMトレースはSGDにおいて暗黙の正則化子として機能し、高い初期FIMトレースは鋭い最小値への偏りを引き起こすが、低い初期FIMトレースは平坦な最小値への偏りを促進する。
• 本研究は、FIM正則化がSGDのノイズデータ過学習に対する暗黙のバイアスを強化することを、実験的および理論的証拠をもって示しており、一般化性能の向上に寄与するメカニズムを提供している。