[論文レビュー] Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks

Weihao Tan, Devdhar Patel+1 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Memory and Neural Computing参考文献 31被引用数 6

ひとこと要約

本論文は、強化学習のための深層Qネットワーク（DQN）を、シミュレーション終了時の膜電位に基づく改善された発火率近似を用いて、イベント駆動型スパイikingニューラルネットワーク（SNN）に変換するロバストな手法を提案する。この手法は17種類のAtariゲームで最先端の性能を達成し、SNNエージェントは2つのゲームを除きDQNの性能を完全に再現しており、神経形状ハードウェア上でエネルギー効率の高い強化学習の実現可能性を示している。

ABSTRACT

Spiking neural networks (SNNs) have great potential for energy-efficient implementation of Deep Neural Networks (DNNs) on dedicated neuromorphic hardware. Recent studies demonstrated competitive performance of SNNs compared with DNNs on image classification tasks, including CIFAR-10 and ImageNet data. The present work focuses on using SNNs in combination with deep reinforcement learning in ATARI games, which involves additional complexity as compared to image classification. We review the theory of converting DNNs to SNNs and extending the conversion to Deep Q-Networks (DQNs). We propose a robust representation of the firing rate to reduce the error during the conversion process. In addition, we introduce a new metric to evaluate the conversion process by comparing the decisions made by the DQN and SNN, respectively. We also analyze how the simulation time and parameter normalization influence the performance of converted SNNs. We achieve competitive scores on 17 top-performing Atari games. To the best of our knowledge, our work is the first to achieve state-of-the-art performance on multiple Atari games with SNNs. Our work serves as a benchmark for the conversion of DQNs to SNNs and paves the way for further research on solving reinforcement learning tasks with SNNs.

研究の動機と目的

• 神経形状ハードウェア上でエネルギー効率の高いディープ強化学習を実現するため、スパイキングニューラルネットワーク（SNN）を用いること。
• DQNからSNNへの変換における課題に取り組み、行動価値の類似性が非常に高い状況で、Q値近似のわずかな誤差が性能に顕著に影響することを是正すること。
• 膜電位の残留効果に起因する誤差を低減することで、発火率近似手法を改善し、変換精度を向上させること。
• 特に複雑な環境（例：Atariゲーム）におけるDQNからSNNへの変換のベンチマークを確立すること。
• シミュレーション時間とパcentileベースのパrameter正規化がSNN性能に与える影響を評価すること。

提案手法

• シミュレーション終了時の最終膜電位を用いた新しい発火率近似法を提案し、従来のアナログ活性化マッピング手法よりも精度を向上させた。
• 重みとしきい値をスケーリングするためのパcentileベースのパrameter正規化技術を導入し、イベント駆動型ダイナミクス下でのSNN挙動を最適化した。
• 再訓練を必要とせず、事前に学習済みのDQN重みを直接同等のSNNにマッピングする変換パイプラインを採用し、ネットワーク構造と接続性を保持した。
• すべてのAtariゲームで一貫したSNN推論評価を確保するため、固定の500ステップのシミュレーション時間を利用した。
• 各ゲームごとに50個のランダムシードを用いて、DQNとSNNの性能をt検定で比較し、結果の統計的有意性を評価した。
• 全スケール評価の前段階として、4つの代表的ゲームを対象に、実験的分析によりハイパーパrameter（シミュレーション時間とパcentile）を最適化した。

実験結果

リサーチクエスチョン

• RQ1 ディープQネットワークは、強化学習タスクの性能を保持したまま、スパイキングニューラルネットワーク（SNN）に効果的に変換可能か？
• RQ2 シミュレーション時間の選択が、変換されたSNNの性能と変換精度にどのように影響するか？
• RQ3 DQNからSNNへの変換プロセスにおいて、最適なパcentileは何か？また、異なるAtariゲーム間でその値はどのように変化するか？
• RQ4 提案手法の発火率近似法は、従来手法と比較して、誤差低減と性能安定性の面でどのように優れているか？
• RQ5 DQNから変換されたSNNは、Atariゲームで人間水準の性能にどの程度まで到達できるか？

主な発見

• 提案手法は18種類のAtariゲームのうち17種類で競争力のある性能を達成し、15ゲームではSNNスコアがDQNスコアと統計的に差がない（p > 0.05）ことが確認された。
• 14ゲームではSNN性能がDQNスコアの95％以内に収まっており、Gopherでは最高でDQNスコアの94.6％を達成した。
• 正規化の最適パcentileはゲームによって異なった：Star GunnerとVideo Pinballでは99.9が最良だったが、BreakoutとJames Bondではより高いパcentile（例：99.99）が性能向上に寄与した。
• シミュレーション時間には次第に効果が薄れる傾向があった：長時間のシミュレーションは、特に感度の高いゲーム（例：Star Gunner, Video Pinball）において、変換率と性能の両方を向上させた。
• 新しい発火率近似法は、従来手法と比較して、行動間のQ値差が小さい状況でも変換誤差を低減した。
• 本手法は、SNNを用いて複数のAtariゲームで最先端の性能を達成し、SNNを用いたディープ強化学習において、初めての成功例を記録した。