[論文レビュー] Learning an Adaptive Learning Rate Schedule

Zhen Xu, Andrew M. Dai+2 more|arXiv (Cornell University)|Sep 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 39

ひとこと要約

この論文は、トレーニングダイナミクスに応じて適応的な学習率スケジュールを自動学習する強化学習フレームワークを導入し、データセットとアーキテクチャを跨いで結果と転送性が改善されることを実証する。

ABSTRACT

The learning rate is one of the most important hyper-parameters for model training and generalization. However, current hand-designed parametric learning rate schedules offer limited flexibility and the predefined schedule may not match the training dynamics of high dimensional and non-convex optimization problems. In this paper, we propose a reinforcement learning based framework that can automatically learn an adaptive learning rate schedule by leveraging the information from past training histories. The learning rate dynamically changes based on the current training dynamics. To validate this framework, we conduct experiments with different neural network architectures on the Fashion MINIST and CIFAR10 datasets. Experimental results show that the auto-learned learning rate controller can achieve better test results. In addition, the trained controller network is generalizable -- able to be trained on one data set and transferred to new problems.

研究の動機と目的

• 高次元の非凸最適化における多様なトレーニングダイナミクスのため、固定的なパラメトリック形式を超える柔軟な学習率スケジュールの必要性を動機づける。
• 過去のトレーニング履歴に基づいて学習率を自動適応するための強化学習フレームワークを提案する。
• 安定した学習率制御を可能にする適切な状態特徴、報酬信号、アクション設計を定義する。
• データセットとアーキテクチャを横断した学習済みコントローラの一般化と転送性の改善を示す。

提案手法

• 強化学習コントローラは、被指導ネットワークから観察されるトレーニングダイナミクスに基づいて学習率スケーリング係数を提案する。
• 状態観測には train/validation loss、予測分散、最終層の重みの統計、さらに前回の学習率を含む。
• 報酬は各ステップの検証損失で、クレジット割り当ての頻繁なフィードバックを提供する。
• アクションは前のステップの学習率に適用される学習率スケーリング係数で、ウォームアップとディケイを可能にする。
• コントローラはProximal Policy Optimization (PPO) を用いて、累積検証損失を最小化する方策を学習する。
• 実験ではFashion-MNISTとCIFAR-10で、CNNおよびResNetアーキテクチャを用いて、自動学習スケジュールをベースラインのステップデケイと比較する。

実験結果

リサーチクエスチョン

• RQ1 RLベースのコントローラは、固定ステップのパラメトリックスケジュールよりも効果的な適応学習率スケジュールを学習できるか？
• RQ2 学習したコントローラは異なるデータセットやモデルアーキテクチャに一般化できるか？
• RQ3 各ステップの検証損失を報酬として用いることは、最終のみの報酬と比較してクレジット割り当てを改善するか？
• RQ4 学習率スケーリングアクションは、直接生の学習率を出力するよりも安定で転移性が高いか？

主な発見

データセット	モデル	テスト損失（ベースライン）	テスト精度（ベースライン）	テスト損失（自動学習）	テスト精度（自動学習）
Fashion MNIST	CNN	0.2497 (0.0042)	0.9102 (0.0019)	0.2351 ∗ (0.0038)	0.9201 ∗ (0.0022)
Fashion MNIST	ResNet	0.2346 (0.0074)	0.9188 (0.0029)	0.2296 (0.0069)	0.9192 (0.0028)
CIFAR-10	CNN	0.9539 (0.0140)	0.6759 (0.0048)	0.9361 ∗ (0.0104)	0.6787 (0.0041)
CIFAR-10	ResNet	0.8317 (0.0155)	0.7395 (0.0206)	0.6288 ∗ (0.0196)	0.8181 ∗ (0.0069)

• 自動学習スケジュールは、すべての評価タスクでベースラインのステップデケイスケジュールより良いテスト損失と精度を達成する。
• コントローラはモデル／データセットに適合した、ウォームアップ→ディケイのような多様な学習パターンを示し、動的適応を示唆する。
• 転送実験ではCIFAR-10で訓練されたコントローラがFashion-MNISTへ効果的に転移し、転送ベースラインを上回る。
• 各ステップの報酬信号はトレーニングダイナミクスを改善し、最終のみの報酬より安定した学習率制御を可能にする。
• このアプローチは両データセットのCNNおよびResNetアーキテクチャへ一般化する。