[论文解读] Deep Reinforcement Learning for Accelerating the Convergence Rate

Jie Fu, Zichuan Lin+6 more|arXiv (Cornell University)|Jun 5, 2016

Neural Networks and Applications被引用 2

一句话总结

本文提出了一种深度强化学习（RL）智能体，可自动学习最优学习率调度策略，以加速深度神经网络（DNN）的训练。通过观察权重统计量并根据最小化达到性能目标所需训练时间来获得奖励，该智能体动态调整学习率，其收敛速度优于标准方法。

ABSTRACT

In this paper, we propose a principled deep reinforcement learning (RL) approach that is able to accelerate the convergence rate of general deep neural networks (DNNs). With our approach, a deep RL agent (synonym for optimizer in this work) is used to automatically learn policies about how to schedule learning rates during the optimization of a DNN. The state features of the agent are learned from the weight statistics of the optimizee during training. The reward function of this agent is designed to learn policies that minimize the optimizee's training time given a certain performance goal. The actions of the agent correspond to changing the learning rate for the optimizee during training. As far as we know, this is the first attempt to use deep RL to learn how to optimize a large-sized DNN. We perform extensive experiments on a standard benchmark dataset and demonstrate the effectiveness of the policies learned by our approach.

研究动机与目标

• 为解决因学习率调度不佳而导致深度神经网络训练收敛缓慢的问题。
• 开发一种通用的优化方法，可自动学习有效的学习率策略，而无需人工调参。
• 在保持或提升基准任务上模型性能的同时，减少训练时间。
• 探索使用深度强化学习以数据驱动、自适应方式优化大规模DNN的可行性。

提出的方法

• 一个深度强化学习智能体作为动态优化器，基于DNN训练过程中实时的权重统计量，学习调度学习率。
• 智能体的状态表示基于被优化DNN的动态权重统计量。
• 奖励函数设计为最小化达到预设性能阈值所需的训练时间。
• 智能体采取的动作对应于在每个训练步骤中调整DNN的学习率。
• 该方法通过深度强化学习算法端到端训练，使智能体能够通过交互发现有效的调度策略。
• 该方法在标准基准数据集上进行评估，以验证其泛化能力和有效性。

实验结果

研究问题

• RQ1 深度强化学习智能体能否学习到有效且自适应的学习率调度策略，以加速DNN训练？
• RQ2 与标准优化方法相比，基于强化学习的优化器在收敛速度方面表现如何？
• RQ3 该强化学习智能体在保持目标模型准确率的前提下，能在多大程度上减少训练时间？
• RQ4 所学习的策略在不同DNN架构和数据集上的鲁棒性如何？

主要发现

• 所提出的深度强化学习方法成功学习到可加速DNN收敛的策略，相较于基线优化策略表现更优。
• 该智能体通过基于实时权重统计量动态调整学习率，显著减少了训练时间。
• 该方法在满足预设性能目标的同时实现更快收敛，证明其在时间到准确率优化方面的有效性。
• 该方法在标准基准数据集上具有泛化能力且效果显著，表明其在DNN训练中具有广泛适用性。