[論文レビュー] Learning Stages: Phenomenon, Root Cause, Mechanism Hypothesis, and Implications.

Kaichao You, Mingsheng Long+2 more|arXiv (Cornell University)|Aug 5, 2019

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、深層ニューラルネットワークの学習率減衰（lrDecay）のための新しい説明を提案する：初期に大きな学習率を設定することでノイジーサンプルの記憶が抑制され、その後の減衰により複雑で転送性の低いパターンの学習が可能になる。制御されたデータセットおよび実世界のデータセットを用いた実験により、このメカニズムが裏付けられ、より良い訓練戦略の設計に新たな知見を提供する。

ABSTRACT

Learning rate decay (lrDecay) is a \emph{de facto} technique for training modern neural networks. It starts with a large learning rate and then decays it multiple times. It is empirically observed to help both optimization and generalization. Common beliefs in how lrDecay works come from the optimization analysis of (Stochastic) Gradient Descent: 1) an initially large learning rate accelerates training or helps the network escape spurious local minima; 2) decaying the learning rate helps the network converge to a local minimum and avoid oscillation. Despite the popularity of these common beliefs, experiments suggest that they are insufficient in explaining the general effectiveness of lrDecay in training modern neural networks that are deep, wide, and nonconvex. We provide another novel explanation: an initially large learning rate suppresses the network from memorizing noisy data while decaying the learning rate improves the learning of complex patterns. The proposed explanation is validated on a carefully-constructed dataset with tractable pattern complexity. And its implication, that additional patterns learned in later stages of lrDecay are more complex and thus less transferable, is justified in real-world datasets. We believe that this alternative explanation will shed light into the design of better training strategies for modern neural networks.

研究の動機と目的

• 現代の深層ニューラルネットワークにおける学習率減衰の広く受け入れられている最適化に基づく説明に挑戦すること。
• lrDecayの有効性が、局所的最適解からの脱出や収束のためのものではなく、インダクティブバイアスの抑制とパターンの複雑さのダイナミクスに起因するかどうかを調査すること。
• lrDecayが段階的な複雑なパターンの学習を可能にするとする新しい仮説を検証すること。
• 特に複雑さに関連して、異なる訓練段階で学習されたパターンの転送性を調査すること。
• 非凸的で深く広いネットワークにおけるlrDecayの実証的成功を説明するメカニズム的解釈を提供すること。

提案手法

• 学習率減衰がパターン学習に与える影響を分離するために、制御可能で扱いやすいパターンの複雑さを持つ合成データセットを構築する。
• 大きな初期学習率を用いて、訓練の初期段階で単純でノイジーなパターンの記憶を抑制する。
• 徐々に学習率を減衰させることで、後続段階でより複雑で抽象的なパターンの学習を可能にする。
• パターン固有のプローブと一般化指標を用いて、訓練段階ごとの学習済みパターンの複雑さを分析する。
• 実世界のデータセットにおいて、初期段階と後期段階で学習された特徴の転送性を比較する。
• 合成データおよび実データの両方の制御実験とアブレーションスタディを通じて、仮説を検証する。

実験結果

リサーチクエスチョン

• RQ1 学習率減衰が最適化収束を超えて、現代の深層ニューラルネットワークにおける一般化性能を向上させる理由は何か？
• RQ2 初期に大きな学習率を設定することで、ノイジーまたは単純なパターンの記憶が抑制されるのか？
• RQ3 訓練の後期段階で学習されたパターンは、初期段階で学習されたものよりも複雑で、転送性が低いとされるか？
• RQ4 lrDecayの有効性は、最適化ダイナミクスではなく、パターン複雑さの段階的学習によるものと説明できるか？
• RQ5 学習済みパターンの複雑さと、異なるタスク間での転送性の相関関係は何か？

主な発見

• 初期に大きな学習率を設定することで、学習データ内のノイジーや単純なパターンの記憶が効果的に抑制される。
• その後の学習率減衰により、過学習しにくいより複雑で抽象的なパターンの学習がネットワークで可能になる。
• パターン固有のプローブによる測定では、後期の訓練段階で学習されたパターンは初期段階で学習されたものよりも顕著に複雑であることが示された。
• 後期に学習されたこれらのパターンは、他のタスクへの転送性が低く、時間の経過とともに複雑さが増すという仮説を支持する。
• 提案されたメカニズムは、従来の最適化説明が不十分である非凸的で深く広いネットワークにおけるlrDecayの有効性を説明できる。
• 合成データおよび実世界のデータセットにおける実証的検証により、lrDecayが単純なパターンから複雑なパターンへの段階的学習を促進することが確認された。