[논문 리뷰] Human-Level Control through Directly-Trained Deep Spiking Q-Networks

Guisong Liu, Wenjie Deng외 3명|arXiv (Cornell University)|2021. 12. 13.

Advanced Memory and Neural Computing인용 수 15

한 줄 요약

이 논문은 깊이 있는 스파iking 신경망을 위한 엔드투엔드 훈련을 가능하게 하기 위해, 유도적 적분-화염(LIF) 뉴런과 서로가치 기반 학습을 사용한 직접 훈련된 딥 스파킹 Q-네트워크(이하 DSQN)를 제안한다. 이는 스파킹 신경망의 비가역성과 이산적 출력으로 인한 강화학습에서의 도전 과제를 해결하며, 17개의 Atari 게임에서 최신 기준 성능을 달성한다. 또한, 긴 시뮬레이션 윈도우가 필요로 하는 변환 기반 SNN과 비교해 성능과 안정성에서 뛰어나며, 짧은 64단계 시뮬레이션 윈도우로 높은 에너지 효율성을 유지를 한다.

ABSTRACT

As the third-generation neural networks, Spiking Neural Networks (SNNs) have great potential on neuromorphic hardware because of their high energy-efficiency. However, Deep Spiking Reinforcement Learning (DSRL), i.e., the Reinforcement Learning (RL) based on SNNs, is still in its preliminary stage due to the binary output and the non-differentiable property of the spiking function. To address these issues, we propose a Deep Spiking Q-Network (DSQN) in this paper. Specifically, we propose a directly-trained deep spiking reinforcement learning architecture based on the Leaky Integrate-and-Fire (LIF) neurons and Deep Q-Network (DQN). Then, we adapt a direct spiking learning algorithm for the Deep Spiking Q-Network. We further demonstrate the advantages of using LIF neurons in DSQN theoretically. Comprehensive experiments have been conducted on 17 top-performing Atari games to compare our method with the state-of-the-art conversion method. The experimental results demonstrate the superiority of our method in terms of performance, stability, robustness and energy-efficiency. To the best of our knowledge, our work is the first one to achieve state-of-the-art performance on multiple Atari games with the directly-trained SNN.

연구 동기 및 목표

• 스파킹 함수의 비가역성과 이산적 출력으로 인해 강화학습에서 스파킹 신경망(SNN)을 훈련하는 데 발생하는 과제를 해결하기 위해.
• 사전 훈련된 인공 신경망에 의존하고 장시간의 시뮬레이션 윈도우가 필요한 변환 기반 SNN의 한계를 극복하기 위해.
• 에너지 효율성을 유지하면서도 딥 강화학습(DRL)을 위한 SNN의 직접 훈련을 가능하게 하며 높은 성능을 달성하기 위해.
• 스파킹 뉴런에서 매우 유사한 Q-값을 효과적으로 표현하기 위해 화염 빈도 코딩과 짧은 시간 윈도우를 활용하기 위해.
• 다양한 Atari 환경에서 일반화 가능한 직접 훈련된 SNN의 벤치마크를 설정하기 위해, 여러 Atari 게임에서 최신 기준 성능을 달성한다.

제안 방법

• 제안된 DSQN 아키텍처는 Q-값을 스파이크 패턴으로 인코딩하기 위해 유도적 적분-화염(LIF) 뉴런과 화염 빈도 코딩을 사용한다.
• 비가역적 스파킹 함수를 통해 역전파를 가능하게 하기 위해 서로서가치 기반 학습 방법을 적응하여 엔드투엔드 훈련을 가능하게 한다.
• 에너지 효율성과 계산 비용을 줄이기 위해 짧은 64단계의 시뮬레이션 윈도우를 사용하여 네트워크를 훈련한다.
• 이 방법은 딥 Q-네트워크(DQN) 프레임워크에 적용되어 더블 DQN과 수렴 DQN(CDQN)을 스파킹 버전인 더블 DSQN과 CDSQN로 확장한다.
• 훈련 과정은 레이어 간 스파이크의 시간 동적 특성을 활용하여 공간적 및 시간적 역전파를 모두 가능하게 한다.
• 일관된 초모수 설정을 사용하여 OpenAI Gym 환경에서 17개의 Atari 게임을 대상으로 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 직접 훈련된 스파킹 신경망은 Atari 게임에서 딥 강화학습에서 최신 기준 성능을 달성할 수 있는가?
• RQ2 성능, 안정성, 에너지 효율성 측면에서 직접 훈련된 SNN은 변환 기반 SNN보다 어떻게 비교되는가?
• RQ3 LIF 뉴런과 짧은 시뮬레이션 윈도우는 DRL 과제에서 매우 유사한 Q-값을 효과적으로 표현할 수 있는가?
• RQ4 서로가치 기반 학습은 DRL 환경에서 스파킹 뉴런을 통해 효과적인 역전파를 가능하게 하는가?
• RQ5 제안된 DSQN 아키텍처는 다양한 Atari 환경에서 일반화 가능할 뿐 아니라 높은 에너지 효율성을 유지할 수 있는가?

주요 결과

• DSQN은 7개의 Atari 게임에서 더블 DQN 성능의 평균 151.4%를 달성하여 뛰어난 학습 능력을 입증했다.
• Kangaroo 게임에서 DSQN은 8,620점에 도달했으며, 더블 DQN의 4,302점보다 200.4% 높은 성능을 보였다.
• CDSQN은 CDQN의 평균 점수의 141.8%를 기록했으며, Kangaroo 게임에서 7,000점 대비 2,360점으로 296.6% 향상된 성능을 보였다.
• DSQN은 변환 기반 SNN보다 낮은 표준편차를 기록하여 훈련 안정성이 향상됨을 시사했다.
• 동일한 네트워크 깊이와 너비를 유지하면서도, 성능과 에너지 효율성 측면에서 변환 기반 SNN을 모두 뛰어넘었다.
• DSQN은 표준 DNN 기반 DRL의 성능을 그대로 유지하면서도 안정성에서 뛰어난 성능을 보여, 기존 DNN 기반 DRL과의 성능 일치 가능성을 확인했다.