[論文レビュー] A disciplined approach to neural network hyper-parameters: Part 1 -- learning rate, batch size, momentum, and weight decay

Leslie N. Smith|arXiv (Cornell University)|Mar 26, 2018

Advanced Neural Network Applications参考文献 18被引用数 822

ひとこと要約

本論文は、検証/テスト損失を分析し、循環的な学習率/モーメントを用い、正則化のバランスを取ることで、トレーニングを加速しつつ性能を向上させる、学習率、バッチサイズ、モーメント、ウェイト減衰を設定する実用的で効率的な方法を示している。

ABSTRACT

Although deep learning has produced dazzling successes for applications of image, speech, and video processing in the past few years, most trainings are with suboptimal hyper-parameters, requiring unnecessarily long training times. Setting the hyper-parameters remains a black art that requires years of experience to acquire. This report proposes several efficient ways to set the hyper-parameters that significantly reduce training time and improves performance. Specifically, this report shows how to examine the training validation/test loss function for subtle clues of underfitting and overfitting and suggests guidelines for moving toward the optimal balance point. Then it discusses how to increase/decrease the learning rate/momentum to speed up training. Our experiments show that it is crucial to balance every manner of regularization for each dataset and architecture. Weight decay is used as a sample regularizer to show how its optimal value is tightly coupled with the learning rates and momentums. Files to help replicate the results reported here are available.

研究の動機と目的

• 体系的なハイパーパラメータ調整によってトレーニング時間を短縮し、性能を向上させる。
• トレーニング時点で検証/テスト損失を用いて過不足適合を早期に診断する。
• 学習率、モーメント、バッチサイズ、ウェイト減衰の相互依存性と、それらをどうバランスさせるかを示す。
• 循環的学習率（CLR）と循環的モーメント（CM）および1cycleポリシーを導入し、収束を加速する。
• 実務家向けの実用的なガイドラインと再現性リソースを提供する。

提案手法

• トレーニング初期にトレーニング損失と検証/テスト損失を分析してハイパーパラメータの調整を導く。
• 適切な学習率の範囲を特定するために循環的学習率（CLR）レンジテストを用いる。
• 大きな学習率で迅速な収束を実現するために1cycle学習率ポリシーを用いる。
• 循環モーメント（CM）とCLRの相互作用を調べて訓練を安定化させる。
• データセットとアーキテクチャ全体で学習率とCMとのバランスとしてウェイト減衰を評価する。
• 実務家向けの再現ファイルと実用的なガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 網羅的なグリッド探索なしで、実務家は最適な学習率、バッチサイズ、モーメント、ウェイト減衰を効率的に決定できるか。
• RQ2 トレーニング中に検証/テスト損失のどの早期指標が過学習/過不足を示すか。
• RQ3 循環学習率と循環モーメントは収束速度と安定性にどう影響し合うか。
• RQ4 ウェイト減衰が、アーキテクチャやデータセット全体で他のハイパーパラメータと正則化をどうバランスさせる役割を果たすか。

主な発見

• 検証/テスト損失は、トレーニング損失や精度には必ずしも現れない収束と一般化に関する情報を提供する。
• LRレンジテストは、CLRの最大使用可能な学習率と最適なLR境界を特定するのに役立つ。
• 他の正則化を減らして正則化のバランスを取ると、学習率が大きいとトレーニングを高速化（超収束）できる。
• バッチサイズはLRとハードウェア制約と相互作用する。ほぼ一定の実行時間を前提とすれば、より大きなバッチサイズは最終的な精度を改善することがあるが、ある点を超えると収益は減少する。
• 循環モメンタムとCLRを組み合わせると、特にResNet-56のような深いネットワークで、一定モーメンタムよりも堅牢性と最終性能が向上することが多い。
• ウェイト減衰は、学習率とモーメントとバランスを取るべきであり、最適値はデータセットとアーキテクチャに依存し、CLR/CMと共同探索の恩恵を受ける。