[论文解读] Human-Level Control through Directly-Trained Deep Spiking Q-Networks

Guisong Liu, Wenjie Deng+3 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Memory and Neural Computing被引用 15

一句话总结

本文提出一种直接训练的深度脉冲Q网络（DSQN），采用漏电整合-放电（LIF）神经元和替代梯度学习方法，实现脉冲神经网络在深度强化学习中的端到端训练。该方法在17款Atari游戏中达到最先进性能，相较于基于转换的脉冲神经网络，在得分和稳定性方面表现更优，同时在64个时间步的短模拟窗口下保持了高能效。

ABSTRACT

As the third-generation neural networks, Spiking Neural Networks (SNNs) have great potential on neuromorphic hardware because of their high energy-efficiency. However, Deep Spiking Reinforcement Learning (DSRL), i.e., the Reinforcement Learning (RL) based on SNNs, is still in its preliminary stage due to the binary output and the non-differentiable property of the spiking function. To address these issues, we propose a Deep Spiking Q-Network (DSQN) in this paper. Specifically, we propose a directly-trained deep spiking reinforcement learning architecture based on the Leaky Integrate-and-Fire (LIF) neurons and Deep Q-Network (DQN). Then, we adapt a direct spiking learning algorithm for the Deep Spiking Q-Network. We further demonstrate the advantages of using LIF neurons in DSQN theoretically. Comprehensive experiments have been conducted on 17 top-performing Atari games to compare our method with the state-of-the-art conversion method. The experimental results demonstrate the superiority of our method in terms of performance, stability, robustness and energy-efficiency. To the best of our knowledge, our work is the first one to achieve state-of-the-art performance on multiple Atari games with the directly-trained SNN.

研究动机与目标

• 解决由于脉冲函数不可微和离散输出导致在强化学习中训练脉冲神经网络（SNN）的挑战。
• 克服基于转换的SNN的局限性，后者依赖预训练的人工神经网络并需要较长的模拟窗口。
• 在保持能效的同时，实现SNN在深度强化学习（DRL）中的直接训练，并取得高性能。
• 通过发放率编码和短时间窗口，改善SNN中高度相似Q值的表示。
• 通过在多个Atari游戏中取得最先进结果，为直接训练的SNN在DRL中建立基准。

提出的方法

• 所提出的DSQN架构使用漏电整合-放电（LIF）神经元和发放率编码，通过脉冲模式编码Q值。
• 采用替代梯度学习方法，使反向传播能够通过不可微的脉冲函数，从而实现端到端训练。
• 使用64个时间步的短模拟时间窗口，以保持能效并降低计算成本。
• 该方法应用于深度Q网络（DQN）框架，将Double DQN和收敛DQN（CDQN）扩展为脉冲版本（Double DSQN和CDSQN）。
• 训练过程利用神经元层间脉冲的时间动态特性，实现空间与时间的联合反向传播。
• 在OpenAI Gym环境中，使用一致的超参数在17款Atari游戏中评估该架构。

实验结果

研究问题

• RQ1 直接训练的脉冲神经网络是否能在Atari游戏中实现深度强化学习的最先进性能？
• RQ2 与基于转换的SNN相比，直接训练的SNN在得分、稳定性及能效方面表现如何？
• RQ3 使用短模拟窗口的LIF神经元能否有效表示DRL任务中高度相似的Q值？
• RQ4 替代梯度学习是否能在DRL设置中有效实现通过脉冲神经元的反向传播？
• RQ5 所提出的DSQN架构是否能在多样化的Atari环境中实现泛化，同时保持高能效？

主要发现

• 在7款Atari游戏中，DSQN的平均得分为Double DQN的151.4%，表明其具备更优的学习能力。
• 在Kangaroo游戏中，DSQN达到8,620分，显著优于Double DQN的4,302分，提升达200.4%。
• CDSQN的平均得分达到CDQN的141.8%，在Kangaroo游戏中提升296.6%（7,000 vs. 2,360分）。
• DSQN的标准差低于基于转换的SNN，表明训练稳定性得到改善。
• 该方法在性能和能效方面均优于基于转换的SNN，且网络深度和宽度保持一致。
• DSQN在性能上与原始DQN相当，但在稳定性方面更优，证实其具备与标准DNN-based DRL相匹配的能力。