[논문 리뷰] Deep Reinforcement Learning with Spiking Q-learning

Ding Chen, Peixi Peng외 2명|arXiv (Cornell University)|2022. 01. 21.

Advanced Memory and Neural Computing인용 수 15

한 줄 요약

이 논문은 깊이 있는 강화학습을 위한 생물학적으로 영감을 받은 강화학습 방법인 딥 스파이킹 Q-네트워크(Deep Spiking Q-Network, DSQN)를 제안한다. 이 방법은 비스파이크 성질을 띤 인터뉴론의 최대 막전압을 Q-값으로 표현함으로써 스파이크 신경망(SNN)의 엔드 투 엔드 학습을 가능하게 한다. DSQN은 17개의 Atari 게임 중 14개에서 ANN 기반 DQN보다 뛰어난 성능을 보이며, 학습 안정성과 적대적 공격에 대한 강건성도 뛰어나다.

ABSTRACT

With the help of special neuromorphic hardware, spiking neural networks (SNNs) are expected to realize artificial intelligence (AI) with less energy consumption. It provides a promising energy-efficient way for realistic control tasks by combining SNNs with deep reinforcement learning (RL). There are only a few existing SNN-based RL methods at present. Most of them either lack generalization ability or employ Artificial Neural Networks (ANNs) to estimate value function in training. The former needs to tune numerous hyper-parameters for each scenario, and the latter limits the application of different types of RL algorithm and ignores the large energy consumption in training. To develop a robust spike-based RL method, we draw inspiration from non-spiking interneurons found in insects and propose the deep spiking Q-network (DSQN), using the membrane voltage of non-spiking neurons as the representation of Q-value, which can directly learn robust policies from high-dimensional sensory inputs using end-to-end RL. Experiments conducted on 17 Atari games demonstrate the DSQN is effective and even outperforms the ANN-based deep Q-network (DQN) in most games. Moreover, the experiments show superior learning stability and robustness to adversarial attacks of DSQN.

연구 동기 및 목표

• 가짜 신경망(ANN)을 사용하지 않고도 완전히 스파이크 기반의 강화학습 방법을 개발하여 가치 함수 추정에 의존하지 않도록 한다.
• 기존의 SNN 기반 강화학습 방법의 한계인 낮은 일반화 능력, 높은 초모수 민감도, ANN 사용으로 인한 에너지 비효율성 문제를 해결한다.
• 생물학적으로 타당한 메커니즘을 사용하여 고차원 제어 과제에 대해 SNN의 엔드 투 엔드 학습을 가능하게 한다.
• 딥 강화학습 환경에서 적대적 공격에 대한 강건성과 학습 안정성을 향상시킨다.

제안 방법

• 비스파이크 성질을 띤 인터뉴론이 막전압을 통해 Q-값을 표현하는 새로운 SNN 아키텍처를 제안하며, 이는 곤충의 감각운동 경로에 영감을 받았다.
• 최종 막전압이 아닌 전체 시뮬레이션 시간 동안의 최대 막전압을 Q-값 표현으로 사용함으로써 시간에 따른 동역학을 더 잘 포착한다.
• 환경 상태를 스파이크 신경망을 통해 스파이크 트레인으로 인코딩하고, 이를 비스파이크 성질의 인터뉴론에서 통합하여 Q-값을 계산한다.
• 하이브리드 ANN-SNN 구성 요소 없이도 표준 딥 Q-러닝과 역전파를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 스파이크 신경망의 역전파를 가능하게 하기 위해 서로서티 그래디언트 방법을 적용한다.
• DSQN은 고정된 시뮬레이션 시간단계 T=8을 사용하며, ANN-SNN 기준선 대비 상당히 빠른 추론 시간을 확보한다.

실험 결과

연구 질문

• RQ1 가짜 신경망(ANN)을 사용하지 않고도 SNN를 엔드 투 엔드로 깊이 있는 강화학습에 적용할 수 있는가?
• RQ2 시간에 걸쳐 최대 막전압을 Q-값 표현으로 사용할 경우 학습 안정성과 성능 향상이 이루어지는가?
• RQ3 순수하게 스파이크 기반의 신경망 기반 강화학습 에이전트가 비디오 게임과 같은 고차원 제어 과제에서 표준 DQN을 능가할 수 있는가?
• RQ4 제안된 DSQN 방법은 표준 DQN에 비해 적대적 공격에 대해 어떻게 성능을 유지하는가?
• RQ5 스파이크 기반 Q-러닝 방법은 경쟁력 있는 성능을 달성하면서도 생물학적으로 타당성을 유지하는가?

주요 결과

• DSQN은 17개의 Atari 게임 중 14개에서 ANN 기반 DQN을 능가하며, Video Pinball(441,615.2 vs. 276,040.2)과 Road Runner(23,206.7 vs. 2,530.0)에서 두드러진 성능 향상을 보였다.
• 학습 곡선이 더 매끄럽고 Q-값 예측의 과도한 추정이 감소함으로써 학습 안정성이 뛰어나다는 것이 입증되었다.
• FGSM 화이트박스 적대적 공격에 대해 매우 강건한 성능을 보였으며, Video Pinball에서는 0.01%의 감소율, Star Gunner에서는 0.16%의 감소율을 기록해 성능 저하가 극히 미미했다.
• 시간 단계 전역에서 최대 막전압을 사용할 경우 다른 디코딩 전략 대비 성능 향상이 뚜렷했으며, 네 가지 게임에서 검증되었다.
• DSQN은 단지 8회의 시뮬레이션 시간단계만으로도 ANN-SNN 기준선(500단계)에 비해 뛰어난 추론 효율성을 확보했다.
• 비스파이크 성질의 인터뉴론을 Q-값 저장소로 모델링함으로써 생물학적 타당성을 유지했으며, 신경생물학적 감각운동 경로와도 부합한다.