[论文解读] Deep Q-Networks for Accelerating the Training of Deep Neural Networks

Jie Fu|arXiv (Cornell University)|Jun 5, 2016

Reinforcement Learning in Robotics参考文献 27被引用 9

一句话总结

本文提出一种深度强化学习（RL）智能体，可自动学习最优学习率调度策略，以加速深度神经网络（DNN）的训练。通过将权重统计量作为状态观察，并根据最小化达到性能目标所需训练时间来获得奖励，该智能体动态调整学习率，在收敛速度上优于标准方法。

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

研究动机与目标

• 超越标准优化方法，加速深度神经网络（DNN）的训练收敛速度。
• 开发一种能够自主学习有效学习率调度策略的强化学习智能体。
• 基于DNN训练过程中的权重统计量，设计适用于RL智能体的状态表示方法。
• 设计一种奖励函数，优先考虑在满足性能目标的前提下最小化训练时间。
• 在标准基准数据集上展示所学策略的有效性。

提出的方法

• RL智能体在训练过程中观察优化对象的权重统计量作为状态特征。
• 智能体实时采取动作，调整DNN优化器的学习率。
• 奖励函数设计为在实现预设性能目标的同时最小化训练时间。
• 使用深度Q网络（DQN）训练智能体，以学习最优调度策略。
• 该方法将DNN优化器视为RL智能体所控制的环境。
• 该方法为端到端设计，智能体从训练动态中学习，无需人工设计的启发式规则。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在无需人工设计启发式规则的情况下，学习到适用于DNN的有效学习率调度策略？
• RQ2 所学策略在收敛速度方面与标准学习率调度方法相比表现如何？
• RQ3 该RL智能体在保持或提升模型性能的前提下，能在多大程度上减少训练时间？
• RQ4 权重统计量为何能作为RL智能体的有效状态表示？
• RQ5 该RL智能体能否在不同DNN架构和数据集之间实现泛化？

主要发现

• 所提出的基于RL的学习率调度方法显著加速了DNN的训练速度，优于标准方法。
• 智能体学习到的策略能够在实现目标性能目标的同时最小化训练时间。
• 该方法在标准基准数据集上表现出有效性，显示出更快的收敛速度。
• 使用权重统计量作为状态特征，使智能体能够捕捉相关的优化动态。
• 该方法是首次尝试将深度强化学习应用于大规模DNN的优化策略学习。
• 奖励函数有效引导智能体朝最小化训练时长的方向优化。