[論文レビュー] Deep Q-Networks for Accelerating the Training of Deep Neural Networks

Jie Fu|arXiv (Cornell University)|Jun 5, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 9

ひとこと要約

この論文では、深層ニューラルネットワーク（DNN）の訓練を高速化するために、最適な学習率スケジューリングを自動で学習する深層強化学習（RL）エージェントを提案する。重みの統計を状態として観測し、性能目標に到達するまでの訓練時間を最小化することで報酬を受け取るため、エージェントは動的に学習率を調整し、標準的手法よりも高速に収束することを達成する。

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

研究の動機と目的

• 標準的な最適化手法を超えて、深層ニューラルネットワーク（DNN）の訓練収束を高速化すること。
• 人為的に設計されたヒューリスティクスなしで、効果的な学習率スケジューリングポリシーを自律的に学習する強化学習エージェントを開発すること。
• DNN訓練中の重み統計に基づいた状態表現を設計すること。
• 性能目標を満たしつつ訓練時間を最小化することを優先する報酬関数を定義すること。
• 標準ベンチマークデータセット上で学習されたポリシーの有効性を示すこと。

提案手法

• RLエージェントは訓練中に最適化対象の重み統計を状態特徴として観測する。
• エージェントはリアルタイムでDNN最適化アルゴリズムの学習率を調整する行動をとる。
• 報酬関数は、所定の性能目標を達成しつつ訓練時間を最小化することを目的として設計されている。
• エージェントは最適なスケジューリングポリシーを学習するために深層Qネットワーク（DQN）を用いて訓練される。
• 本手法は、DNN最適化アルゴリズムをRLエージェントが制御する環境として扱う。
• 本手法はエンドツーエンドであり、手作業で設計されたヒューリスティクスなしに訓練ダイナミクスから学習する。

実験結果

リサーチクエスチョン

• RQ1 人為的に設計されたヒューリスティクスなしで、深層RLエージェントはDNNのための効果的な学習率スケジューリングポリシーを学習できるか？
• RQ2 収束速度の観点で、学習されたポリシーの性能は標準的な学習率スケジューリングと比べてどうなるか？
• RQ3 RLエージェントは、モデル性能を維持または向上させつつ、どの程度訓練時間を短縮できるか？
• RQ4 重み統計がRLエージェントのための効果的な状態表現として機能する理由は何か？
• RQ5 RLエージェントは異なるDNNアーキテクチャやデータセットに一般化できるか？

主な発見

• 提案されたRLベースの学習率スケジューリング手法は、標準的手法と比較してDNN訓練を顕著に高速化する。
• エージェントは、目標とする性能目標に到達しつつ訓練時間を最小化するポリシーを学習する。
• 本手法は標準ベンチマークデータセットでも有効であることが示され、より速い収束を実現している。
• 重み統計を状態特徴として用いることで、エージェントは関連する最適化ダイナミクスを捉えることができる。
• 本手法は、大規模なDNNの最適化ポリシーを学習するために深層RLを適用する初の試みである。
• 報酬関数は、訓練期間の短縮を促進するようにエージェントを効果的に導く。