[논문 리뷰] Deep Reinforcement Learning with Population-Coded Spiking Neural Network for Continuous Control

Guangzhi Tang, Neelesh Kumar외 2명|arXiv (Cornell University)|2020. 10. 19.

Advanced Memory and Neural Computing참고 문헌 25인용 수 35

한 줄 요약

이 논문은 PopSAN을 소개합니다. PopSAN은 딥 강화학습으로 학습된 인구 코드 스파이킹 액터 네트워크로, 딥 액터와 비슷한 성능을 달성하면서 뉴로모픽 하드웨어(Loihi)에서 에너지 소비를 대폭 줄입니다.

ABSTRACT

The energy-efficient control of mobile robots is crucial as the complexity of their real-world applications increasingly involves high-dimensional observation and action spaces, which cannot be offset by limited on-board resources. An emerging non-Von Neumann model of intelligence, where spiking neural networks (SNNs) are run on neuromorphic processors, is regarded as an energy-efficient and robust alternative to the state-of-the-art real-time robotic controllers for low dimensional control tasks. The challenge now for this new computing paradigm is to scale so that it can keep up with real-world tasks. To do so, SNNs need to overcome the inherent limitations of their training, namely the limited ability of their spiking neurons to represent information and the lack of effective learning algorithms. Here, we propose a population-coded spiking actor network (PopSAN) trained in conjunction with a deep critic network using deep reinforcement learning (DRL). The population coding scheme dramatically increased the representation capacity of the network and the hybrid learning combined the training advantages of deep networks with the energy-efficient inference of spiking networks. To show the general applicability of our approach, we integrated it with a spectrum of both on-policy and off-policy DRL algorithms. We deployed the trained PopSAN on Intel's Loihi neuromorphic chip and benchmarked our method against the mainstream DRL algorithms for continuous control. To allow for a fair comparison among all methods, we validated them on OpenAI gym tasks. Our Loihi-run PopSAN consumed 140 times less energy per inference when compared against the deep actor network on Jetson TX2, and had the same level of performance. Our results support the efficiency of neuromorphic controllers and suggest our hybrid RL as an alternative to deep learning, when both energy-efficiency and robustness are important.

연구 동기 및 목표

• 고차원 관찰 및 행동을 가진 모바일 로봇의 에너지 효율적 제어에 대한 동기 부여.
• 복잡한 연속 제어 작업에 대한 전통적인 SNN 학습의 한계 해결.
• 다양한 DRL 알고리즘과 함께 작동하는 인구 코드 스파이킹 액터 네트워크(PopSAN) 제안.
• 정책 성능을 유지하면서 Loihi에서 하드웨어 효율적인 추론 시연.

제안 방법

• 각 관찰 및 각 행동 차원을 학습 가능한 수용 영역을 가진 뉴런 집단으로 인코딩하는 PopSAN 제안.
• PopSAN을 온-정책 및 오프-정책 DRL 알고리즘(DDPG, TD3, SAC, PPO)과 통합.
• SNNs를 위한 확장된 시공간 역전파를 사용하여 DRL 손실로 PopSAN 매개변수를 경사 하강법으로 학습.
• 고정된 타임스텝 수 이후 출력 인구 활동을 연속 행동으로 디코딩.
• 실시간 제어를 가능하게 하는 상호 작용 프레임워크와 함께 Ion Intel Loihi에서 PopSAN 배치 OpenAI Gym 태스크.

실험 결과

연구 질문

• RQ1 PopSAN이 다양한 DRL 알고리즘에서 연속 제어 태스크에 대해 깊은 액터 네트워크의 성능에 부합할 수 있는가?
• RQ2 인구 코딩이 고차원 제어를 위한 SNN의 표현 용량 및 학습을 향상시키는가?
• RQ3 뉴로모픽 하드웨어에 배치된 PopSAN이 기존의 DNN 기반 컨트롤러와 비교하여 에너지 효율적인가?
• RQ4 인코더 학습성 및 인구 크기가 관찰 및 행동의 표현과 성능에 어떤 영향을 미치는가?

주요 결과

• PopSAN은 모든 테스트 DRL 태스크에서 해당하는 심층 액터 네트워크와 동일한 수준의 성능을 달성합니다.
• 인구 코드가 적용된 PopSAN은 실험에서 속도 코드 SNN 접근법 및 DNN-대 SNN 변환보다 우수한 성능을 보입니다.
• Loihi 배치는 Jar Jetson TX2에서의 심층 액터 대비 추론당 에너지를 140배 낮추면서도 성능을 유지합니다.
• 출력 인구 크기를 늘리면 행동 표현 및 보상이 개선됩니다; 학습 가능한 인코더가 고정 인코더보다 더 우수합니다.
• Loihi에서 PopSAN은 높은 보상과 함께 실시간 제어를 제공하며 에너지 소비를 크게 감소시킵니다.