[论文解读] Deep Reinforcement Learning: Framework, Applications, and Embedded Implementations

Hongjia Li, Tianshu Wei+3 more|arXiv (Cornell University)|Oct 10, 2017

Smart Grid Energy Management参考文献 17被引用 15

一句话总结

本文提出了一种适用于信息物理系统中最优控制的一般性深度强化学习（DRL）框架，结合离线DNN训练与在线Q-learning实现动态决策。该方法在云计算中实现高达54.1%的能效与成本降低，在智能电网调度中实现22.77%的节省，在HVAC控制中实现20–70%的节省，同时通过基于随机计算的DNN硬件实现支持超低功耗，实现58.8k $\mu m^2$面积与7.73 mW功耗。

ABSTRACT

The recent breakthroughs of deep reinforcement learning (DRL) technique in Alpha Go and playing Atari have set a good example in handling large state and actions spaces of complicated control problems. The DRL technique is comprised of (i) an offline deep neural network (DNN) construction phase, which derives the correlation between each state-action pair of the system and its value function, and (ii) an online deep Q-learning phase, which adaptively derives the optimal action and updates value estimates. In this paper, we first present the general DRL framework, which can be widely utilized in many applications with different optimization objectives. This is followed by the introduction of three specific applications: the cloud computing resource allocation problem, the residential smart grid task scheduling problem, and building HVAC system optimal control problem. The effectiveness of the DRL technique in these three cyber-physical applications have been validated. Finally, this paper investigates the stochastic computing-based hardware implementations of the DRL framework, which consumes a significant improvement in area efficiency and power consumption compared with binary-based implementation counterparts.

研究动机与目标

• 开发一种可推广的深度强化学习（DRL）框架，适用于具有不同优化目标的多样化信息物理系统。
• 在云计算资源分配、住宅智能电网任务调度和HVAC系统控制等实际应用中，验证DRL框架的有效性。
• 设计并优化基于随机计算（SC）的DRL DNN硬件实现，用于嵌入式系统，以实现高能效与面积节省。
• 证明流水线化SC-based DNN架构可显著提升吞吐量，同时保持低功耗与面积开销。

提出的方法

• DRL框架包括离线阶段，用于训练深度神经网络（DNN）以近似Q值函数，随后在在线阶段使用深度Q-learning进行实时动作选择与Q值更新。
• 该框架采用双阶段控制环路：使用经验回放与目标网络进行离线DNN权重更新，以及使用预训练DNN进行在线推理以估计Q值。
• 采用随机计算（SC）实现DNN硬件，将二进制算术替换为基于比特流的运算，以降低面积与功耗。
• 在每个DNN层内应用深度流水线技术，在加法单元与激活单元之间插入寄存器，以提高时钟频率与吞吐量。
• SC-based DNN使用XNOR门实现点积运算，采用30输入近似乘法器电路（APCs），激活函数采用Btanh，同时配备随机到二进制与二进制到随机转换器以实现数据接口。
• 系统采用26-30-1 DNN架构评估住宅智能电网应用，性能在不同比特流长度（256–1024）及有无流水线条件下进行测量。

实验结果

研究问题

• RQ1 能否有效将通用DRL框架应用于具有不同优化目标的多样化信息物理系统？
• RQ2 所提出的DRL框架在云计算、智能电网与HVAC系统中，对降低能耗与运行成本的效率如何？
• RQ3 与基于二进制的实现相比，基于随机计算的DNN硬件实现能否在面积效率与功耗方面实现显著提升？
• RQ4 深度流水线在嵌入式DRL系统中对SC-based DNN的吞吐量与性能提升程度如何？

主要发现

• 在使用Google集群轨迹数据的云计算资源分配中，DRL框架实现了高达54.1%的能效节省，优于基线方法。
• 在住宅智能电网任务调度中，DRL方法相比基线算法将总能耗成本降低了高达22.77%。
• 在建筑HVAC控制中，DRL方法将运行成本降低了20%至70%，同时保持温度违规率低于1.0%。
• SC-based硬件实现的功耗仅为7.73 mW，面积为58,771.53 $\mu m^2$，在流水线设计下延迟为261.12 ns。
• 与非流水线SC设计相比，流水线将延迟降低了37%，显著提升了吞吐量。
• 即使在更高比特流长度（最高达1024）下，SC-based实现仍保持低功耗与低面积成本，与低精度设计相比功耗与面积增加极小。