[論文レビュー] Human-Level Control through Directly-Trained Deep Spiking Q-Networks

Guisong Liu, Wenjie Deng+3 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

本稿では、漏れ込み積分・放電（LIF）ニューロンとサーロウグレデント学習を用いて、スパイクニューラルネットワーク（SNN）のエンド・ツー・エンド学習を可能にする、直接学習可能なディープスパイクQネットワーク（DSQN）を提案する。64タイムステップの短いシミュレーションウィンドウを用いることで、エネルギー効率を維持したまま17種類のAtariゲームで最先端の性能を達成した。変換ベースのSNNよりもスコアと安定性で優れており、エネルギー効率も高い。

ABSTRACT

As the third-generation neural networks, Spiking Neural Networks (SNNs) have great potential on neuromorphic hardware because of their high energy-efficiency. However, Deep Spiking Reinforcement Learning (DSRL), i.e., the Reinforcement Learning (RL) based on SNNs, is still in its preliminary stage due to the binary output and the non-differentiable property of the spiking function. To address these issues, we propose a Deep Spiking Q-Network (DSQN) in this paper. Specifically, we propose a directly-trained deep spiking reinforcement learning architecture based on the Leaky Integrate-and-Fire (LIF) neurons and Deep Q-Network (DQN). Then, we adapt a direct spiking learning algorithm for the Deep Spiking Q-Network. We further demonstrate the advantages of using LIF neurons in DSQN theoretically. Comprehensive experiments have been conducted on 17 top-performing Atari games to compare our method with the state-of-the-art conversion method. The experimental results demonstrate the superiority of our method in terms of performance, stability, robustness and energy-efficiency. To the best of our knowledge, our work is the first one to achieve state-of-the-art performance on multiple Atari games with the directly-trained SNN.

研究の動機と目的

• スパイク関数が非微分可能で出力が離散的であるため、強化学習におけるスパイクニューラルネットワーク（SNN）の学習に課題が生じるという点を解決すること。
• 事前学習された人工ニューラルネットワークに依存する変換ベースのSNNの限界を克服すること。これらのSNNは長時間のシミュレーションウィンドウを必要としている。
• エネルギー効率を保ちつつ、ディープ強化学習（DRL）におけるSNNの直接学習を可能にすること。
• FIRING RATE CODINGと短い時間窓を用いて、非常に類似したQ値をSNNで効果的に表現すること。
• 複数のAtariゲームで最先端の結果を達成することで、DRLにおける直接学習可能なSNNのベンチマークを確立すること。

提案手法

• 提案されたDSQNアーキテクチャは、スパイクパターンにQ値を符号化するためのFIRING RATE CODINGを用いた、漏れ込み積分・放電（LIF）ニューロンを採用する。
• 非微分可能なスパイク関数を介したバックプロパゲーションを可能にするために、サーロウグレデント学習法を適応する。これによりエンド・ツー・エンド学習が可能になる。
• エネルギー効率を維持し、計算コストを低減するために、64タイムステップの短いシミュレーション時間ウィンドウを用いる。
• この手法は、ディープQネットワーク（DQN）フレームワークに適用され、ダブルDQNとコンバージェントDQN（CDQN）をスパイク版に拡張した（ダブルDSQNとCDSQN）。
• 学習プロセスは、層間のスパイクの時間的ダイナミクスを活用し、空間的および時間的バックプロパゲーションを両方可能にする。
• 同じハイパーパrameterをベースラインと同一に設定し、OpenAI Gym環境を用いて17種類のAtariゲームでアーキテクチャを評価する。

実験結果

リサーチクエスチョン

• RQ1 直接学習可能なスパイクニューラルネットワークは、Atariゲームにおけるディープ強化学習で最先端の性能を達成できるか？
• RQ2 スコア、安定性、エネルギー効率の観点から、直接学習可能なSNNは変換ベースのSNNよりも優れているか？
• RQ3 LIFニューロンと短いシミュレーションウィンドウは、DRLタスクにおける非常に類似したQ値を効果的に表現できるか？
• RQ4 サーロウグレデント学習は、DRL環境におけるスパイクニューロンを介した効果的なバックプロパゲーションを可能にするか？
• RQ5 提案されたDSQNアーキテクチャは、多様なAtari環境に一般化可能であり、高エネルギー効率を維持できるか？

主な発見

• DSQNは7種類のAtariゲームでダブルDQNの平均スコアの151.4%を達成し、優れた学習能力を示した。
• カニョウのゲームでは、DSQNが8,620点を記録し、ダブルDQNの4,302点を大きく上回り、200.4%の改善を達成した。
• CDSQNはCDQNの平均スコアの141.8%を達成し、カニョウのゲームで7,000対2,360点の296.6%の改善を示した。
• DSQNは変換ベースのSNNよりも標準偏差が低く、学習の安定性が向上していることを示した。
• 同じネットワークの深さと幅を維持した状態で、性能とエネルギー効率の両面で変換ベースのSNNを上回った。
• DSQNはヴァナラDQNと同等の性能を達成したが、安定性ではそれを上回り、標準的なDNNベースのDRLと同等の能力を有していることを確認した。