[論文レビュー] Reinforcement Learning for Learning Rate Control

Chang Xu, Tao Qin+2 more|arXiv (Cornell University)|May 31, 2017

Reinforcement Learning in Robotics参考文献 21被引用数 15

ひとこと要約

本論文は、深層学習における確率的勾配降下法（SGD）の最適な学習率を自動で学習するためのアクタ・クリティック強化学習フレームワークを提案する。方策ネットワーク（アクタ）で段階的な学習率を決定し、価値ネットワーク（クリティック）で長期的な性能を評価することで、複数のデータセットおよびアーキテクチャにおいて、人為的に設計されたベースラインと比較して収束性が向上し、振動が低減される。

ABSTRACT

Stochastic gradient descent (SGD), which updates the model parameters by adding a local gradient times a learning rate at each step, is widely used in model training of machine learning algorithms such as neural networks. It is observed that the models trained by SGD are sensitive to learning rates and good learning rates are problem specific. We propose an algorithm to automatically learn learning rates using neural network based actor-critic methods from deep reinforcement learning (RL).In particular, we train a policy network called actor to decide the learning rate at each step during training, and a value network called critic to give feedback about quality of the decision (e.g., the goodness of the learning rate outputted by the actor) that the actor made. The introduction of auxiliary actor and critic networks helps the main network achieve better performance. Experiments on different datasets and network architectures show that our approach leads to better convergence of SGD than human-designed competitors.

研究の動機と目的

• SGDベースの学習における手動で問題に特化した学習率チューニングの課題に対処すること。
• 人為的介入なしに、モデルの収束性を向上させる自動的かつ適応的な学習率戦略を開発すること。
• 短期的な損失低減ではなく、長期的な性能最適化を目的とした強化学習を活用すること。
• 学習率方策における勾配の不一致分析を通じて、訓練の安定化と振動の低減を図ること。
• 再チューニングなしに、多様なデータセットおよびニューラルネットワークアーキテクチャにわたる学習率制御の汎用性を確保すること。

提案手法

• 各訓練ステップにおける学習率を出力する方策ネットワーク（アクタ）を用いるアクタ・クリティック深層強化学習フレームワークを採用する。
• 累積的な将来の損失低減の期待値を推定するためのクリティックネットワークを訓練し、長期的報酬モデリングを可能にする。
• ミニバッチ勾配とフルバッチ勾配の間の勾配不一致を、学習率安定性を調整する信号として導入する。
• アクタおよびクリティックネットワークに異なる訓練サンプルを供給し、不一致が顕著な場合に学習率を低減することで振動を検出・抑制する。
• クリティックのフィードバックに基づいてポリシー勾配法を用いてアクタネットワークを更新し、長期的性能最適化を図る。
• 補助的なアクタおよびクリティックネットワークを主モデルと同時にEnd-to-Endで訓練し、収束性の共同向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、深層学習におけるSGDの最適な学習率を効果的に学習できるか？
• RQ2 即時の損失低減に基づく戦略と比較して、長期的報酬から学習する戦略が、学習率スケジューリングにおいて優れているか？
• RQ3 勾配不一致を、訓練の安定化と振動低減のための信頼性のある信号として利用できるか？
• RQ4 収束速度と最終的なモデル性能の観点から、本手法は人為的に設計された学習率スケジュールと比較してどのように異なるか？
• RQ5 再チューニングなしに、異なるデータセットおよびニューラルネットワークアーキテクチャにわたって、本手法が汎用性を示せるか？

主な発見

• 提案手法は、評価されたすべてのデータセットおよびネットワークアーキテクチャで、最も優れた最終テスト損失を達成し、人為的ベースラインを上回った。
• 初期段階では収束速度がベースラインと同等であったが、長期的報酬最適化を重視することで、優れた最終的性能に到達した。
• 訓練損失およびテスト損失の曲線が、標準的なSGDおよびベースライン手法と比較して著しく滑らかであり、振動が低減されていることが示された。
• 勾配不一致分析により、ミニバッチ間で勾配が大きくばらつく場合に、本手法が学習率を低減していることが確認され、訓練の安定化が図られた。
• 最適化軌道の可視化により、他の手法と比較して、より少ないステップで収束し、最適解への道筋がより直接的であることが示された。
• 本手法は、特に勾配不一致が顕著な領域において、訓練中の振動を著しく低減し、時間経過とともに単調に減少するテスト損失を達成した。