[論文レビュー] Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control

Guangzhi Tang, Neelesh Kumar+2 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Memory and Neural Computing参考文献 25被引用数 35

ひとこと要約

この論文は PopSAN、人口コード化されたスパイキングアクター ネットワークを deep reinforcement learning で訓練し、深層アクターと同等の性能を達成しつつ、ニューロモorphic ハードウェア（Loihi）上でのエネルギー消費を大幅に削減します。

ABSTRACT

The energy-efficient control of mobile robots is crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces, which cannot be offset by limited on-board resources. An emerging non-Von Neumann model of intelligence, where spiking neural networks (SNNs) are run on neuromorphic processors, is regarded as an energy-efficient and robust alternative to the state-of-the-art real-time robotic controllers for low dimensional control tasks. The challenge now for this new computing paradigm is to scale so that it can keep up with real-world tasks. To do so, SNNs need to overcome the inherent limitations of their training, namely the limited ability of their spiking neurons to represent information and the lack of effective learning algorithms. Here, we propose a population-coded spiking actor network (PopSAN) trained in conjunction with a deep critic network using deep reinforcement learning (DRL). The population coding scheme dramatically increased the representation capacity of the network and the hybrid learning combined the training advantages of deep networks with the energy-efficient inference of spiking networks. To show the general applicability of our approach, we integrated it with a spectrum of both on-policy and off-policy DRL algorithms. We deployed the trained PopSAN on Intel's Loihi neuromorphic chip and benchmarked our method against the mainstream DRL algorithms for continuous control. To allow for a fair comparison among all methods, we validated them on OpenAI gym tasks. Our Loihi-run PopSAN consumed 140 times less energy per inference when compared against the deep actor network on Jetson TX2, and had the same level of performance. Our results support the efficiency of neuromorphic controllers and suggest our hybrid RL as an alternative to deep learning, when both energy-efficiency and robustness are important.

研究の動機と目的

• 高次元の観測と行動を伴うモバイルロボットのためのエネルギー効率の高い制御の動機づけ。
• 複雑な連続制御タスクに対する従来のSNN訓練の限界への対処。
• さまざまなDRLアルゴリズムと機能する人口コード化スパイキングアクター網 (PopSAN) の提案。
• Loihi上でのハードウェア効率の高い推論を示しつつ、ポリシー性能を維持。

提案手法

• 学習可能な receptive fields を備えたニューロン集団へ各観測次元と行動次元を符号化する PopSAN の提案。
• On-policy および off-policy DRL アルゴリズム（DDPG、TD3、SAC、PPO）と PopSAN を統合。
• DRL 損失とSNN用の拡張空間時系列誤差逆伝播を用いて PopSAN パラメータを勾配降下法で訓練。
• 固定タイムステップ後に出力集団活動を連続的な行動へデコード。
• Intel Loihi上に PopSAN をデプロイし、OpenAI Gymタスクでリアルタイム制御を可能にする相互作用フレームワークを実装。

実験結果

リサーチクエスチョン

• RQ1 複数の DRL アルゴリズムにわたって、PopSAN は連続制御タスクにおいて深層アクターネットワークと同等の性能を発揮できるか？
• RQ2 高次元の制御に対するSNNの表現能力と学習を人口コード化が改善するか？
• RQ3 従来のDNNベースのコントローラと比較して、神経形態素であるニューロモルフィックハードウェア上で PopSAN はエネルギー効率が高いか？
• RQ4 エンコーダの学習性と集団サイズが観測と行動の性能・表現にどのように影響するか？

主な発見

• PopSAN は、すべての試験 DRL タスクにおいて対応する深層アクターネットワークと同等の性能を達成する。
• 人口コード化を用いる PopSAN は、実験でレート符号化SNNアプローチおよびDNN-to-SNN変換を上回る。
• Loihi のデプロイは、Jetson TX2 上の深層アクターと比較して推論あたりエネルギーを140倍低減しつつ性能を維持。
• 出力集団サイズを増やすと行動表現と報酬が改善される。学習可能なエンコーダは固定エンコーダより優れる。
• Loihi上のPopSANは高い報酬を得つつリアルタイム制御と著しく低いエネルギー消費を実現。