[논문 리뷰] Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks

Weihao Tan, Devdhar Patel외 1명|arXiv (Cornell University)|2020. 09. 30.

Advanced Memory and Neural Computing참고 문헌 31인용 수 6

한 줄 요약

이 논문은 강화학습을 위한 딥 Q-네트워크(DQNs)를 이벤트 기반 스파iking 신경망(SNNs)으로 변환하는 강건한 방법을 제안한다. 시뮬레이션 종료 시점의 막막 전위 기반 개선된 발화율 근사법을 사용하며, 17개의 아케이드 게임에서 최신 기술 성능을 달성한다. SNN 에이전트는 두 게임를 제외한 전부에서 DQN 성능을 그대로 유지하며, 뉴모르픽 하드웨어에서 에너지 효율적인 강화학습의 가능성을 입증한다.

ABSTRACT

Spiking neural networks (SNNs) have great potential for energy-efficient implementation of Deep Neural Networks (DNNs) on dedicated neuromorphic hardware. Recent studies demonstrated competitive performance of SNNs compared with DNNs on image classification tasks, including CIFAR-10 and ImageNet data. The present work focuses on using SNNs in combination with deep reinforcement learning in ATARI games, which involves additional complexity as compared to image classification. We review the theory of converting DNNs to SNNs and extending the conversion to Deep Q-Networks (DQNs). We propose a robust representation of the firing rate to reduce the error during the conversion process. In addition, we introduce a new metric to evaluate the conversion process by comparing the decisions made by the DQN and SNN, respectively. We also analyze how the simulation time and parameter normalization influence the performance of converted SNNs. We achieve competitive scores on 17 top-performing Atari games. To the best of our knowledge, our work is the first to achieve state-of-the-art performance on multiple Atari games with SNNs. Our work serves as a benchmark for the conversion of DQNs to SNNs and paves the way for further research on solving reinforcement learning tasks with SNNs.

연구 동기 및 목표

• 뉴모르픽 하드웨어에서 스파킹 신경망(SNNs)을 사용하여 에너지 효율적인 딥 강화학습을 가능하게 하기.
• 작은 Q-값 근사 오차가 상호 유사한 행동가치로 인해 성능에 크게 영향을 주는 DQN에서 SNN으로의 변환 과제를 해결하기.
• 막막 전위 잔류 효과로 인한 오차를 줄이기 위해 발화율 근사 방법을 개선하여 변환 정확도를 향상시키기.
• 특히 아케이드 게임과 같은 복잡한 환경에서 DQN-에서-SNN로의 변환에 대한 벤치마크를 수립하기.
• 시뮬레이션 시간과 백분위수 기반 파라미터 정규화가 SNN 성능에 미치는 영향을 평가하기.

제안 방법

• 시뮬레이션 종료 시점의 최종 막막 전위를 사용하는 새로운 발화율 근사법을 제안하여 이전의 아날로그 활성화 매핑 방법보다 정확도를 향상시킨다.
• 이벤트 기반 동역학 하에서 SNN 행동을 최적화하기 위해 백분위수 기반 파라미터 정규화 기법을 도입한다.
• 재학습 없이 사전 훈련된 DQN 가중치를 직접 등가 SNN로 매핑하는 변환 파이프라인을 구현하며, 네트워크 아키텍처와 연결성을 유지한다.
• 모든 아케이드 게임에서 일관된 SNN 추론 평가를 보장하기 위해 고정된 500단계의 시뮬레이션 시간을 사용한다.
• 각 게임당 50개의 랜덤 시드를 사용하여 DQN과 SNN 성능을 t-검정으로 비교하여 결과의 통계적 유의성을 평가한다.
• 전체 평가에 앞서 네 가지 대표적인 게임에서 실험적 분석을 통해 초모수(시뮬레이션 시간 및 백분위수)를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 Q-네트워크는 강화학습 작업에서 성능을 유지하면서 스파킹 신경망(SNNs)으로 성공적으로 변환될 수 있는가?
• RQ2 시뮬레이션 시간의 선택이 변환된 SNN의 성능과 변환 정확도에 어떤 영향을 미치는가?
• RQ3 DQN-에서-SNN로의 변환 과정에서 최적의 백분위수는 무엇이며, 다양한 아케이드 게임 간에 어떻게 달라지는가?
• RQ4 제안된 발화율 근사 방법은 이전 방법에 비해 오차 감소와 성능 안정성 측면에서 어떻게 비교되는가?
• RQ5 DQN에서 변환된 SNN은 아케이드 게임에서 인간 수준의 성능을 어느 정도 달성할 수 있는가?

주요 결과

• 제안된 방법은 18개 아케이드 게임 중 17개에서 경쟁적인 성능을 달성하였으며, 15개 게임에서 SNN 점수와 DQN 점수가 통계적으로 유의미하지 않게(α > 0.05) 일치하였다.
• 14개 게임에서 SNN 성능은 DQN 점수의 95% 이내였으며, Gopher 게임에서 SNN 점수가 DQN 점수의 최대 94.6%에 도달하였다.
• 정규화에 가장 적합한 백분위수 값은 게임에 따라 달라졌다: Star Gunner와 Video Pinball에서는 99.9가 최적이었고, Breakout와 James Bond에서는 더 높은 백분위수(예: 99.99)가 성능 향상에 기여하였다.
• 시뮬레이션 시간은 점진적 수익 감소 효과를 보였다: 더 긴 시간이 변환률과 성능 향상에 기여했으며, 특히 민감도가 높은 게임인 Star Gunner와 Video Pinball에서 두드러졌다.
• 새로운 발화율 근사법은 이전 방법보다 변환 오차를 감소시켰으며, 특히 행동 간 Q-값 차이가 작은 경우에 뚜렷하게 효과적이었다.
• 이 방법은 SNN를 사용하여 여러 아케이드 게임에서 최신 기술 성능을 달성하였으며, SNN를 활용한 딥 강화학습에서 처음으로 성공한 사례이다.