[論文レビュー] Multi-compartment Neuron and Population Encoding Powered Spiking Neural Network for Deep Distributional Reinforcement Learning

Yinqian Sun, Feifei Zhao+2 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

本論文は、深層分布型強化学習のための直接訓練型スパイキングニューラルネットワークである MCS-FQF を提示する。マルチコンパートメントニューロンと集団表現を用い、Atariゲームにおける vanilla FQF および ANN-SNN 変換のベースラインより性能を向上させる。

ABSTRACT

Inspired by the brain's information processing using binary spikes, spiking neural networks (SNNs) offer significant reductions in energy consumption and are more adept at incorporating multi-scale biological characteristics. In SNNs, spiking neurons serve as the fundamental information processing units. However, in most models, these neurons are typically simplified, focusing primarily on the leaky integrate-and-fire (LIF) point neuron model while neglecting the structural properties of biological neurons. This simplification hampers the computational and learning capabilities of SNNs. In this paper, we propose a brain-inspired deep distributional reinforcement learning algorithm based on SNNs, which integrates a bio-inspired multi-compartment neuron (MCN) model with a population coding approach. The proposed MCN model simulates the structure and function of apical dendritic, basal dendritic, and somatic compartments, achieving computational power comparable to that of biological neurons. Additionally, we introduce an implicit fractional embedding method based on population coding of spiking neurons. We evaluated our model on Atari games, and the experimental results demonstrate that it surpasses the vanilla FQF model, which utilizes traditional artificial neural networks (ANNs), as well as the Spiking-FQF models that are based on ANN-to-SNN conversion methods. Ablation studies further reveal that the proposed multi-compartment neuron model and the quantile fraction implicit population spike representation significantly enhance the performance of MCS-FQF while also reducing power consumption.

研究の動機と目的

• 深層分布型強化学習（DRL）のための生物学的に適合したSNNを動機づけ、開発する。
• マルチコンパートメントニューロン構造と集団表現がDRLタスクにおける情報統合と学習にどのように影響するかを調査する。
• 分布型RLのためのスパイキングモデルを直接エンドツーエンドで訓練し、ANNベースおよび変換されたSNNベースのベースラインと比較する。

提案手法

• 状態情報と分位情報を統合するために、基底樹状突起、頂部樹状突起、シナプス体の3コンパートメントニューモデルを導入する。
• 分位分数を頂部樹状突起へのスパイキング活動入力として集団表現することを提案する。
• MCS-FQF を開発する：スパイキング畳み込みバックボーンにMCNと集団表現を組み合わせ、最終SNNを介して分位値を推定する。 surrogate gradient STBPとHuber分位回帰損失で訓練する。
• 暗黙のポアソン集団スパイクを用いて分位分数を表現し、SCNNからの状態埋め込みと統合する。
• 代理勾配でネットワークをエンドツーエンド訓練し、WassersteinとHuber分位回帰損失で最適化する。
• 19のAtariゲームで、 vanilla ANNベースのFQF および ANN-SNN変換ベースの Spiking-FQF と比較する。」],
• research_questions:[
• マルチコンパートメントニューロモデルはSNNベースのDRLにおける情報統合を高められるか？
• 分位分数の集団表現はコサインエンベディングと比較してスパイキングDRLモデルの表現力を改善するか？
• 直接訓練されたMCNベースのSNN（MCS-FQF）はAtariゲームにおいて従来のANNベースのFQFや変換されたSpiking-FQFと競争力があるか？

実験結果

リサーチクエスチョン

• RQ1 Can a multi-compartment neuron model enhance information integration in SNN-based DRL?
• RQ2 Does population encoding of quantile fractions improve representation in spiking DRL models compared to cosine embedding?
• RQ3 Is directly trained MCN-based SNN (MCS-FQF) competitive with traditional ANN-based FQF and converted Spiking-FQF on Atari games?

主な発見

• MCS-FQF は複数の Atar iゲームでベースの FQF モデルより一貫して高得点を出し、学習がより速く、安定している。
• アブレーション研究は、MCN コンポーネントと集団表現の両方が性能向上に決定的に寄与することを示す。
• Spiking-FQF の ANN-SNN 変換と比較して、MCS-FQF はほとんどのゲームでより高いスコアを達成し、VideoPinball のような複雑なタスクではギャップが顕著である。
• 集団表現法はSNNにおける分位値表現においてコサインエンベディングより効率が良い。
• STBPと代理勾配を用いてMCNベースのSNNを直接訓練することで、変換なしに深いDRLを効果的に可能にする。