[論文レビュー] Deep Reinforcement Learning for Accelerating the Convergence Rate

Jie Fu, Zichuan Lin+6 more|arXiv (Cornell University)|Jun 5, 2016

Neural Networks and Applications被引用数 2

ひとこと要約

この論文では、深層ニューラルネットワーク（DNN）の学習を高速化するために、最適な学習率スケジューリング方策を自動で学習する深層強化学習（RL）エージェントを提案する。重みの統計を観測し、所定の性能目標に到達するまでの学習時間を最小化するように報酬を受け取ることで、エージェントは動的に学習率を調整し、標準的手法よりも高速に収束することを達成する。

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

研究の動機と目的

• 最適でない学習率スケジューリングによる、深層ニューラルネットワークの学習収束が遅いという課題に対処すること。
• 手動でのハイパーパrameterチューニングなしに、効果的な学習率ポリシーを自動で学習する汎用的最適化手法を開発すること。
• ベンチマークタスクにおけるモデル性能を維持または向上させながら、学習時間を短縮すること。
• データ駆動的で適応的な方法として、深層RLを大規模DNN最適化に適用する可能性を検討すること。

提案手法

• 深層RLエージェントが、DNN学習中のリアルタイムでの重み統計に基づいて、学習率スケジューリングを動的に最適化する。
• エージェントの状態表現は、最適化対象のDNNの変化する重み統計から得られる。
• 報酬関数は、所定の性能閾値に到達するまでの学習時間を最小化することを目的として設計されている。
• エージェントがとる行動は、各学習ステップにおけるDNNの学習率の調整に対応する。
• エージェントは、相互作用を通じて有効なスケジューリングポリシーを発見できるように、エンドツーエンドで深層RLアルゴリズムを用いて訓練される。
• 一般化性と有効性を検証するため、標準ベンチマークデータセット上でアプローチが評価される。

実験結果

リサーチクエスチョン

• RQ1 深層RLエージェントは、DNN学習の高速化を目的とした、効果的で適応的な学習率スケジューリング方策を学習できるか？
• RQ2 収束速度の観点から、RLベースの最適化手法は、標準的な最適化手法と比べてどの程度優れているか？
• RQ3 RLエージェントは、目標とするモデル精度を維持しながら、どの程度学習時間を短縮できるか？
• RQ4 異なるDNNアーキテクチャやデータセットに対して、学習済みポリシーの頑健性はどの程度か？

主な発見

• 提案された深層RLアプローチは、ベースライン最適化戦略と比較して、DNNの収束を加速するポリシーを効果的に学習した。
• エージェントは、リアルタイムでの重み統計に基づいて学習率を動的に調整することで、学習時間を顕著に短縮した。
• 所定の性能目標を満たしながらも、収束を高速化したため、時間対精度最適化の有効性が示された。
• アプローチは、標準ベンチマークデータセットにおいて一般化可能で効果的であり、DNN学習への広範な適用可能性が示された。