[論文レビュー] Long Short-term Memory with Two-Compartment Spiking Neuron

Shimin Zhang, Yang Qu+4 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

この論文は、細胞体に短期記憶を、樹状棘に長期記憶を分離する生物学的にインspiredな二 compartment spiking neuron モデルであるLSTM-LIFを提案する。このモデルは、長期的な時間的依存関係を扱うタスクで優れた性能を発揮し、非スパイクLSTMよりも100倍以上のエネルギー効率向上を達成しながら、高い分類精度を維持している。トレーニングの収束が速く、一般化性能も優れている。

ABSTRACT

The identification of sensory cues associated with potential opportunities and dangers is frequently complicated by unrelated events that separate useful cues by long delays. As a result, it remains a challenging task for state-of-the-art spiking neural networks (SNNs) to identify long-term temporal dependencies since bridging the temporal gap necessitates an extended memory capacity. To address this challenge, we propose a novel biologically inspired Long Short-Term Memory Leaky Integrate-and-Fire spiking neuron model, dubbed LSTM-LIF. Our model incorporates carefully designed somatic and dendritic compartments that are tailored to retain short- and long-term memories. The theoretical analysis further confirms its effectiveness in addressing the notorious vanishing gradient problem. Our experimental results, on a diverse range of temporal classification tasks, demonstrate superior temporal classification capability, rapid training convergence, strong network generalizability, and high energy efficiency of the proposed LSTM-LIF model. This work, therefore, opens up a myriad of opportunities for resolving challenging temporal processing tasks on emerging neuromorphic computing machines.

研究の動機と目的

• 単一コンパートメントモデルに起因する短い記憶容量の制限により、スパイキングニューラルネットワーク（SNN）が長期的な時間的依存関係を学習するのを困難にしているという課題に対処すること。
• バックプロパゲーションスルータイム（BPTT）によるSNNのトレーニングで生じる消失勾配問題を、コンパートメントに分離された記憶を持つ生物学的に妥当なニューロンの設計によって克服すること。
• ニューロモルフィックハードウェアへの実装を想定し、高い記憶容量と計算効率の両立を図るスパイキングニューロンモデルを開発すること。
• 提案モデルが、時間的タスクにおける分類精度、トレーニング速度、エネルギー効率の点で、標準的なLIFおよび非スパイクLSTMネットワークを上回ることを実証すること。

提案手法

• LSTM-LIFモデルは、細胞体コンパートメント（短期記憶）と樹状棘コンパートメント（長期記憶）の二コンパートメント構造を導入し、生物学的プサミダルニューロンにインspiredしている。
• 細胞体コンパートメントは、迅速かつ一時的な信号処理を可能にする、修正された漏れ積算放電（Leaky Integrate-and-Fire, LIF）ダイナミクスを採用している。
• 樹状棘コンパートメントは、遅延の長い履歴入力を長期間にわたり保持できるように、遅い時間定数を持つ別個の膜電位更新を実装している。
• モデルは、適応的AC演算を用いて、過去の入力の長期的トレースを維持できる、新しいシナプス可塑性ルールを採用している。
• 理論的分析により、二コンパートメント構造が、遅い樹状棘ダイナミクスを通じた勾配の流れを保持することで、BPTT中に消失勾配問題を効果的に緩和することが確認された。
• モデルは、代替勾配法を用いたバックプロパゲーションスルータイム（BPTT）でトレーニングされ、S-MNIST や TIMIT などの複数の時間的分類ベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 二コンパートメントのスパイキングニューロンモデルは、標準的な単一コンパートメントSNNが学習できない長期的な時間的依存関係を効果的に捉えることができるか？
• RQ2 細胞体と樹状棘コンパートメントにそれぞれ短期記憶と長期記憶を分離することで、SNNにおけるトレーニングの安定性と収束性がどのように向上するか？
• RQ3 標準的なLIFおよび非スパイクLSTMネットワークと比較して、LSTM-LIFモデルは消失勾配問題をどの程度軽減するか？
• RQ4 二コンパートメント構造によるモデルの複雑化が、エネルギーコストの増加を引き起こすのか、それとも単純なSNNと同等のエネルギー効率を維持できるのか？
• RQ5 LSTM-LIFモデルの損失関数の形状は、LIFと比較してどのように異なるか？ そして、最適化ダイナミクスと一般化性能にどのような示唆をもたらすか？

主な発見

• LSTM-LIFモデルは、S-MNIST や TIMIT といった複数の時間的分類タスクで最先端の性能を達成し、LIFおよび非スパイクLSTMモデルを上回る高い精度を示した。
• トレーニング収束が著しく速く、局所最小値付近の損失関数の形状が滑らかであるため、最適化ダイナミクスが向上し、劣悪な局所最適解に陥るリスクが低減されていることが示された。
• 理論的分析により、二コンパートメント構造が、遅い樹状棘ダイナミクスを通じた勾配の流れを保持することで、消失勾配問題を効果的に緩和することが確認された。
• モデルの複雑化にもかかわらず、S-MNISTデータセット上での実測エネルギー消費は28.2 nJにとどまり、LIFモデルの23.8 nJと同等の水準であり、非スパイクLSTM（2,834.7 nJ）と比較して100倍以上のエネルギー節約が達成された。
• LSTM-LIFとLIFのレイヤーごとの発火レートは類似しており（例：[0.294, 0.146, 0.030] 対 [0.219, 0.145, 0.004]）、性能向上がスパイク活動の増加に起因するものではないことを裏付けた。
• モデルは、多様な時間的タスクにおける安定したトレーニングダイナミクスを示し、強力な一般化能力を有していることが実証された。