[論文レビュー] A novel adaptive learning rate scheduler for deep neural networks

Rahul Yedida, Snehanshu Saha|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 18被引用数 11

ひとこと要約

本論文は、最適化ダイナミクスに基づく理論的枠組みから導出されたもので、深層ニューラルネットワークにおける学習率を動的に計算する、革新的な適応的学習率スケジューラーを提案する。標準データセットおよびアーキテクチャ上での実験により、訓練の安定性と収束性が向上し、固定またはヒューリスティックな学習率スケジューリングに比べて本手法の有効性が示された。

ABSTRACT

Optimizing deep neural networks is largely thought to be an empirical process, requiring manual tuning of several parameters, such as learning rate, weight decay, and dropout rate. Arguably, the learning rate is the most important of these to tune, and this has gained more attention in recent works. In this paper, we propose a novel method to compute the learning rate for training deep neural networks. We derive a theoretical framework to compute learning rates dynamically, and then show experimental results on standard datasets and architectures to demonstrate the efficacy of our approach.

研究の動機と目的

• 深層学習における手動によるハイパーパrameterチューニングの課題、特に学習率選定の重要性に対処すること。
• 最適化効率を向上させるために、訓練中に学習率を理論的根拠に基づき動的に調整する手法を開発すること。
• 原則的で適応的なアプローチにより、ヒューリスティックまたは固定の学習率スケジューリングへの依存を低減すること。
• 提案手法を多様な標準データセットおよび深層学習アーキテクチャにわたって検証すること。

提案手法

• 本手法は、最適化ダイナミクスに基づく理論的枠組みを用いて、訓練中にリアルタイムで学習率を計算する。
• 勾配ノルムや損失曲率などの訓練プロセスからのフィードバックを用いて、学習率を動的に調整する。
• 確率的最適化における安定性条件から導出された閉形式式を用いて学習率を計算する。
• 標準的な深層学習フレームワークとシームレスに統合され、標準的なトレーニング設定を超えて追加のハイパーパrameterを必要としない。
• 局所的な最適化行動に基づいて適応するため、収束が速く、初期学習率の選択に敏感でなくなる。

実験結果

リサーチクエスチョン

• RQ1 最適化軌道に応じて手動チューニングなしに動的に適応する学習率スケジューラーをどのように設計できるか？
• RQ2 訓練の安定性を保証するための適応的学習率を導出する理論的原則は何か？
• RQ3 提案手法は、既存の適応的最適化手法と比較して収束速度および一般化性能においてどのように異なるか？
• RQ4 再チューニングなしに、異なるアーキテクチャおよびデータセットに本手法が一般化可能か？

主な発見

• 提案された適応的学習率スケジューラーは、CIFAR-10 や ImageNet などの標準的な画像分類ベンチマークでより速い収束を達成した。
• 初期学習率の設定に依存する感度が低減され、訓練のロバスト性が向上した。
• ResNet や VGG などの複数のアーキテクチャにおいて、一貫した性能向上が実験で確認された。
• 理論的枠組みは、観察された最適化ダイナミクスと整合する安定した学習率調整を的確に予測できた。