[論文レビュー] The Two Regimes of Deep Network Training

Guillaume Leclerc, Aleksander Mądry|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 18被引用数 12

ひとこと要約

この論文は、深層ネットワークにおける2つの明確に異なる学習レジームを特定している：高学習率におけるノイズが多く非凸的な「大ステップ」レジーム（一般化を駆動）と、低学習率における滑らかで凸に似た「小ステップ」レジーム（高速収束を可能にするが一般化性能が低い）。大ステップ段階ではモーメンタムなしのSGD、小ステップ段階では高いモーメンタムを用いたSGDという、別々の最適化戦略を適用することで、2段階のスケジュールがCIFAR-10およびImageNetで最先端の性能を達成し、標準的なマルチステージ学習率スケジュールを上回った。

ABSTRACT

Learning rate schedule has a major impact on the performance of deep learning models. Still, the choice of a schedule is often heuristical. We aim to develop a precise understanding of the effects of different learning rate schedules and the appropriate way to select them. To this end, we isolate two distinct phases of training, the first, which we refer to as the "large-step" regime, exhibits a rather poor performance from an optimization point of view but is the primary contributor to model generalization; the latter, "small-step" regime exhibits much more "convex-like" optimization behavior but used in isolation produces models that generalize poorly. We find that by treating these regimes separately-and em specializing our training algorithm to each one of them, we can significantly simplify learning rate schedules.

研究の動機と目的

• なぜ一部の学習率スケジュールが、直感に反する挙動（例：増加するスケジュールや高学習率）にもかかわらず、他のスケジュールを上回るのかを理解すること。
• 深層ネットワーク学習における高学習率レジームと低学習率レジームの間で、最適化ダイナミクスおよび一般化行動に根本的な違いがあるかを調査すること。
• 訓練全体を通して1つの最適化アルゴリズムとハイパーパrameterセットを用いるという仮定に疑問を呈し、代わりにレジームに応じたアプローチを提案すること。
• 訓練を明確な段階に分けることで、より単純で効果的であり、一般化性能に優れた学習率スケジュールが可能になることを示すこと。

提案手法

• 著者らは2つの学習レジームを特定した：『大ステップ』レジーム（高学習率、ノイズの多い損失、収束が悪い）と『小ステップ』レジーム（低学習率、滑らかな損失低下、高速収束）。
• 標準的なSGDとモーメンタム付きSGDを用いて最適化ダイナミクスを分析し、異なるモーメンタム値と学習率における損失軌道と一般化性能を比較した。
• 2段階の学習率スケジュールを提案した：まず高学習率でモーメンタムなしのSGDで訓練（大ステップレジーム）、次に低学習率で高いモーメンタムを用いたSGDに切り替え（小ステップレジーム）。
• CIFAR-10およびImageNetでの実験的検証により、2つのレジーム間の遷移点を最適化した。大ステップ段階におけるモーメンタムの影響がほとんどないことを確認するため、広範なアブレーション実験を実施した。
• 提案されたスケジュールをCIFAR-10およびImageNetで評価し、標準的な3段階スケジュールやサイクル学習率ベースラインと性能を比較した。
• 2次最適化手法（例：K-FAC、L-BFGS）は一般化性能が悪いため通常避けられるが、小ステップレジームでのみ使用可能である可能性があると主張した。

実験結果

リサーチクエスチョン

• RQ1 なぜ高学習率スケジュールは、最適化収束が悪いにもかかわらず、深層ネットワークにおいてより良い一般化をもたらすのか？
• RQ2 高学習率レジームと低学習率レジームの間で、損失軌道、モーメンタムの有効性、収束行動という観点から最適化ダイナミクスにどのような違いがあるのか？
• RQ3 異なる最適化アルゴリズムとハイパーパrameterを用いた2段階に分けることで、モデル性能を向上させられるか？
• RQ4 大ステップレジームにおいて、モーメンタムを学習率から分離しても、性能に影響を及ぼさない程度までできるか？
• RQ5 複雑なマルチステージまたはサイクルスケジュールと比較して、簡素化された2段階の学習率スケジュールで最先端の性能を達成できるか？

主な発見

• 大ステップレジームでは、非常に非凸的な最適化行動が見られ、ノイズの多い損失軌道と、多くのステップを経ても収束が悪い状態が続く。
• 大ステップレジームでは、モーメンタムに顕著な利点がない。その効果は学習率を調整することで完全に相殺できる。
• 小ステップレジームでは、モーメンタムが収束を顕著に加速させ、最終的な損失を低く保つ。これは凸最適化の直感に一致する。
• 2段階スケジュール（第一段階：モーメンタムなしのSGD、第二段階：高いモーメンタムを用いたSGD）が、CIFAR-10およびImageNetの両方で最先端の性能を達成した。
• 提案されたスケジュールは、複数の遷移点において標準的な3段階スケジュールを上回るか同等の性能を示し、第一段階でモーメンタムを省略しても性能に劣化が生じないことを確認した。
• 結果から、従来一般化性能が悪いため避けられがちだった2次最適化手法が、小ステップレジームでのみ使用可能である可能性が示唆された。