[論文レビュー] Wide-minima Density Hypothesis and the Explore-Exploit Learning Rate Schedule

Nikhil Iyer, V Thejas+3 more|arXiv (Cornell University)|Mar 9, 2020

Multimodal Machine Learning Applications参考文献 45被引用数 14

ひとこと要約

本稿では、深層学習の損失関数の局所的最小値において、広い最小値は狭い最小値よりもまれであるという広い最小値密度仮説を提唱する。この仮説に基づき、広い最小値の発見確率を高めるために長期間にわたる高学習率の探索フェーズを有する、新たな「膝曲線（Knee）」スケジュールと呼ばれる学習率スケジュールを提案する。この手法は、複数の視覚および自然言語処理ベンチマークで最先端の精度を達成するか、元の精度を維持しながら学習時間を最大57%短縮する。

ABSTRACT

Several papers argue that wide minima generalize better than narrow minima. In this paper, through detailed experiments that not only corroborate the generalization properties of wide minima, we also provide empirical evidence for a new hypothesis that the density of wide minima is likely lower than the density of narrow minima. Further, motivated by this hypothesis, we design a novel explore-exploit learning rate schedule. On a variety of image and natural language datasets, compared to their original hand-tuned learning rate baselines, we show that our explore-exploit schedule can result in either up to 0.84% higher absolute accuracy using the original training budget or up to 57% reduced training time while achieving the original reported accuracy. For example, we achieve state-of-the-art (SOTA) accuracy for IWSLT'14 (DE-EN) dataset by just modifying the learning rate schedule of a high performing model.

研究の動機と目的

• 初期学習率が高いと深層ニューラルネットワークの一般化性能が向上する理由を解明すること。
• 損失関数の局所的最小値において、広い最小値の密度が狭い最小値よりも低いかどうかを検証すること。
• 広い最小値に到達するための十分な探索を実現するように明示的に設計された学習率スケジュールを構築すること。
• 提案された探索・利用分離型スケジュールが、手動でチューニングされたベースラインと比較して、精度および学習効率において優れているかどうかを評価すること。

提案手法

• 広い最小値密度仮説の提唱：損失関数の局所的最小値において、広い最小値は狭い最小値よりも密度が低いため、十分な探索がなければ発見が困難である。
• Kneeスケジュールの設計：初期に一定の高い学習率で探索するフェーズを設け、その後線形にゼロへと減少させる二段階の学習率スケジュール。
• 曲率解析による最小値の幅推定を用いて、高いテスト精度と広い最小値の相関関係を実証的に検証する。
• 複数のデータセット（CIFAR-10, ImageNet, IWSLT’14, WMT’14）およびモデル（ResNet, BERT, Transformer）において、探索フェーズの期間を変化させ、一般化性能への影響を調査する。
• 総学習時間の制約を保ったまま、またはその範囲内でハイパーパramータサーチにより探索フェーズの最適化を実施する。
• 複数の最適化手法（SGD, Adam, RAdam, LAMB）を用い、テスト精度、BLEUスコア、学習時間を報告する。

実験結果

リサーチクエスチョン

• RQ1 初期の高学習率フェーズの期間を延長することで、深層ネットワークの一般化性能が向上するか？
• RQ2 損失関数の局所的最小値において、広い最小値の密度が狭い最小値よりも顕著に低く、それが広い最小値が見つけにくい理由であると説明できるか？
• RQ3 探索と利用を明示的に分離する原理的学習率スケジュールが、手動チューニングされたスケジュールを上回る性能を示せるか？
• RQ4 Kneeスケジュールは、コサインスケジュールなどの既存のスケジュールと比較して、精度および学習効率において優れているか？
• RQ5 Kneeスケジュールは、初期学習率および探索期間の設定に対して感受性が強いのか？

主な発見

• IWSLT’14（DE-EN）翻訳データセットにおいて、高性能モデルの学習率スケジュールを唯一変更しただけで、最先端のテスト精度を達成した。
• ResNet-18を用いたCIFAR-10では、探索フェーズを5エポックから40エポックに延長したことで、テスト精度が95.07%から95.34%に向上し、最適な性能は100エポックの探索期間で達成された。
• WMT’14（EN-DE）におけるBERT LARGEの事前学習では、Kneeスケジュールがベースラインと同等の精度を達成したが、学習時間を33%短縮した。
• ResNet-50を用いたImageNetでは、Kneeスケジュールが元の精度を維持しながら、学習時間を44%短縮した。
• WMT’14（EN-DE）では、Kneeスケジュールが同じテストBLEUスコアを達成したが、学習時間を57%短縮した。
• 初期学習率が高くなるほど、最適な探索期間は短くなる傾向にあり、これは大きなステップで狭い最小値を素早く脱出できるという仮説と整合的である。