[論文レビュー] Deep Reinforcement Learning: Framework, Applications, and Embedded Implementations

Hongjia Li, Tianshu Wei+3 more|arXiv (Cornell University)|Oct 10, 2017

Smart Grid Energy Management参考文献 17被引用数 15

ひとこと要約

本論文は、オフラインDNN学習とオンラインQ学習を統合した一般化された深層強化学習（DRL）フレームワークを提唱し、サイバーフィジカルシステムにおける最適制御を実現する。動的意思決定において、クラウドコンピューティングで最大54.1%、スマートグリッドスケジューリングで22.77%、HVAC制御で20–70%のエネルギーおよびコスト削減を達成した。また、確率的コンピューティングに基づくDNN実装により、超低消費電力ハードウェアを実現し、面積58.8k $\mu m^2$、消費電力7.73 mWを達成した。

ABSTRACT

The recent breakthroughs of deep reinforcement learning (DRL) technique in Alpha Go and playing Atari have set a good example in handling large state and actions spaces of complicated control problems. The DRL technique is comprised of (i) an offline deep neural network (DNN) construction phase, which derives the correlation between each state-action pair of the system and its value function, and (ii) an online deep Q-learning phase, which adaptively derives the optimal action and updates value estimates. In this paper, we first present the general DRL framework, which can be widely utilized in many applications with different optimization objectives. This is followed by the introduction of three specific applications: the cloud computing resource allocation problem, the residential smart grid task scheduling problem, and building HVAC system optimal control problem. The effectiveness of the DRL technique in these three cyber-physical applications have been validated. Finally, this paper investigates the stochastic computing-based hardware implementations of the DRL framework, which consumes a significant improvement in area efficiency and power consumption compared with binary-based implementation counterparts.

研究の動機と目的

• 異なる最適化目的を有する多様なサイバーフィジカルシステムに適用可能な汎用的な深層強化学習（DRL）フレームワークの開発を目的とする。
• クラウドリソース割り当て、住宅用スマートグリッドタスクスケジューリング、HVACシステム制御といった実世界の応用において、DRLフレームワークの有効性を検証することを目的とする。
• 埋め込みシステム向けに、確率的コンピューティング（SC）に基づくDRL DNNのハードウェア実装を設計・最適化し、高いエネルギー効率と面積削減を達成することを目的とする。
• パイプライン化されたSCベースのDNNアーキテクチャが、低消費電力と低面積オーバーヘッドを維持したまま、スループットを顕著に向上させることを示すこと

提案手法

• DRLフレームワークは、Q値関数を近似するためのオフライン段階（DNNの学習）と、リアルタイムの行動選択およびQ値更新のためのオンライン段階（深層Q学習）から構成される。
• フレームワークは二段階制御ループを採用する：オフライン段階では経験リプレイとターゲットネットワークを用いたDNN重みの更新、オンライン段階では事前学習済みDNNを用いたQ値推定のための推論処理。
• DNNハードウェア実装には確率的コンピューティング（SC）が用いられ、二進数演算の代わりにビットストリームベースの演算を採用することで、面積と消費電力の低減を実現する。
• 各DNN層内に深さパイプライン技術を適用し、加算ユニットと活性化ユニットの間にレジスタを挿入することで、クロックレートとスループットを向上させる。
• SCベースのDNNでは、ドット積にXNORゲートを、30入力の近似積算回路（APC）を、活性化関数にBtanhを用い、データインターフェースのための確率的から二進数、および二進数から確率的へのコンバータを統合する。
• 住宅用スマートグリッド応用を対象に、26-30-1 DNNアーキテクチャを用いて評価し、ビットストリーム長（256–1024）の変動およびパイプライン有無の両方で性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 異なる最適化目的を有する多様なサイバーフィジカルシステムに、一般化されたDRLフレームワークを効果的に適用可能か？
• RQ2 提案されたDRLフレームワークは、クラウドコンピューティング、スマートグリッド、HVACシステムにおいて、エネルギー消費と運用コストをどれほど削減できるか？
• RQ3 二進数ベースの実装と比較して、確率的コンピューティングに基づくDNNハードウェア実装は、顕著な面積効率および消費電力の改善を達成できるか？
• RQ4 深さパイプライン化は、埋め込みDRLシステムにおけるSCベースDNNのスループットと性能をどの程度向上させるか？

主な発見

• Googleクラスタトレースを用いたクラウドコンピューティングリソース割り当てにおいて、DRLフレームワークは最大54.1%のエネルギー削減を達成し、ベースライン手法を上回った。
• 住宅用スマートグリッドタスクスケジューリングにおいて、DRLアプローチはベースラインアルゴリズムと比較して、合計エネルギーコストを最大22.77%削減した。
• 建物HVAC制御において、DRL手法は運用コストを20%～70%削減したが、同時に温度違反率は1.0%未満を維持した。
• SCベースのハードウェア実装は、消費電力7.73 mW、面積58,771.53 $\mu m^2$を達成し、パイプライン化により遅延261.12 nsを実現した。
• パイプライン化により、同じビットストリーム長下で非パイプライン設計と比較して遅延を37%低減し、スループットの顕著な向上を実現した。
• 高いビットストリーム長（最大1024）でも、SCベースの実装は低消費電力と低面積コストを維持し、低精度設計と比較して消費電力および面積の増加が最小限に抑えられた。