[論文レビュー] Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning

Duzhen Zhang, Tielin Zhang+3 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Memory and Neural Computing参考文献 49被引用数 7

ひとこと要約

本稿では、ニューロンレベルでの2次膜電位ダイナミクスを有する動的ニューロン（DNs）と、ネットワークレベルでのパopulation codingを統合したマルチスケール動的コーディングスパイキングアクターネットワーク（MDC-SAN）を提案する。この手法は強化学習における空間的・時間的状態表現を向上させる。MDC-SANは、OpenAI Gymの4つの連続的制御タスクにおいて、深層ニューラルネットワーク（DNN）ベースの対応手法を上回り、生物学的にインスパイアされたコーディング機構を通じて優れた意思決定性能を示す。

ABSTRACT

With the Deep Neural Networks (DNNs) as a powerful function approximator, Deep Reinforcement Learning (DRL) has been excellently demonstrated on robotic control tasks. Compared to DNNs with vanilla artificial neurons, the biologically plausible Spiking Neural Network (SNN) contains a diverse population of spiking neurons, making it naturally powerful on state representation with spatial and temporal information. Based on a hybrid learning framework, where a spike actor-network infers actions from states and a deep critic network evaluates the actor, we propose a Population-coding and Dynamic-neurons improved Spiking Actor Network (PDSAN) for efficient state representation from two different scales: input coding and neuronal coding. For input coding, we apply population coding with dynamically receptive fields to directly encode each input state component. For neuronal coding, we propose different types of dynamic-neurons (containing 1st-order and 2nd-order neuronal dynamics) to describe much more complex neuronal dynamics. Finally, the PDSAN is trained in conjunction with deep critic networks using the Twin Delayed Deep Deterministic policy gradient algorithm (TD3-PDSAN). Extensive experimental results show that our TD3-PDSAN model achieves better performance than state-of-the-art models on four OpenAI gym benchmark tasks. It is an important attempt to improve RL with SNN towards the effective computation satisfying biological plausibility.

研究の動機と目的

• 脳のセルアセンブリ機構を模倣することで、空間的・時間的コーディングの効率を高める、強化学習向けスパイキングニューラルネットワーク（SNN）の改善。
• 従来のDNNベースのアクターが複雑な状態空間を表現する能力に限界を示すのを補うために、ネットワークスケールとニューロンスケールの両方で生物学的に妥当なコーディングを導入すること。
• 同一の訓練設定下で、深層アクターネットワーク（DAN）を上回る意思決定性能を達成するスパイキングアクターネットワークの開発。
• 標準的な連続的制御ベンチマーク上でのマルチスケール動的コーディング（パopulation codingと動的ニューロン）の有効性の検証。

提案手法

• ネットワークスケールでパopulation codingを採用し、各入力状態次元が可学習な受容野を持つニューロン集団によって符号化されることで表現能力を向上させる。
• 2次膜電位ダイナミクスを有する新規の動的ニューロン（DNs）を導入し、しきい値、リセット電位、および隠れた抵抗変数Uを含む主要パラメータで制御される。
• 行動推論のためのレートコーディング出力として、スパイク数の時間ウィンドウ平均を用いることで、TD3などの連続的制御アルゴリズムとの互換性を確保する。
• 深層クライマー・ネットワークと併用して、Twin Delayed Deep Deterministic Policy Gradient（TD3）アルゴリズムを用いてMDC-SANを訓練する。
• 1つのタスク（例：Ant-v3）でDNの動的パラメータを学習し、類似したタスク（例：HalfCheetah-v3, Walker2d-v3, Hopper-v3）に転送することで一般化性能を評価する。
• Poisson、決定的、パopulationベースなどのさまざまな入力コーディング戦略を比較し、パopulation codingの寄与を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークスケールのパopulation codingとニューロンスケールの動的ニューロンコーディングを組み合わせたマルチスケール動的コーディングは、連続的制御タスクにおけるスパイキングアクターネットワークの性能向上に寄与するか？
• RQ2 2次膜電位ダイナミクスを有する動的ニューロンを用いることで、SNNベースの強化学習において標準的なLIFニューロンよりも優れた性能が得られるか？
• RQ3 パopulation codingは、レートコーディングと比較して、入力表現能力およびその後続の意思決定性能において優れているか？
• RQ4 1つのタスクで学習した動的パラメータは、他の類似した制御タスクへのSNNにおいてどの程度一般化可能か？
• RQ5 提案されたMDC-SANは、同一の実験設定下で、深層ニューラルネットワークベースの対応手法（DAN）を上回る性能を示せるか？

主な発見

• MDC-SANは、すべての4つのOpenAI Gym連続的制御タスク（Ant-v3, HalfCheetah-v3, Walker2d-v3, Hopper-v3）において、深層アクターネットワーク（DAN）の対応手法を顕著に上回った。
• パopulation codingのみ（C_pop）が、すべての入力コーディング手法の中で最高の性能を示し、レートコーディングやハイブリッドコーディング戦略を上回った。
• 2次ダイナミクスを有する動的ニューロン（DNs）は、4つのタスクすべてで標準的なLIFニューロンを一貫して上回り、優れた時間的情報処理能力を示した。
• DNsは、弱い刺激では疎な発火を示し、強い入力に対しては強力で非線形の応答を示す、より複雑で適応的な応答パターンを示した。これに対してLIFニューロンは、発火するか、予測可能な方法で減衰するのみであった。
• Ant-v3で学習した動的パラメータは、他の類似タスクへの転送において効果的に機能し、DNsの環境間での高い汎化性と頑健性を示した。
• パopulation codingとDNsの統合により、より強力な空間的・時間的状態表現が実現され、高い累積報酬と改善されたポリシー学習が可能になった。