[論文レビュー] Gradient Descent for Spiking Neural Networks

Dongsung Huh, Terrence J. Sejnowski|arXiv (Cornell University)|Jun 14, 2017

Advanced Memory and Neural Computing参考文献 13被引用数 36

ひとこと要約

本稿では、前シナプス膜電位の微分に適用されたゲート関数に基づく滑らかで微分可能なシナプス電流モデルを用いた、スパikingニューラルネットワークの微分可能定式化を提案する。この手法により、バックプロパゲーションを用いた正確な勾配計算が可能となり、ミリ秒スケールのエンコーディングタスクおよび秒スケールの遅延記憶XORタスクの両方を高い精度で学習可能な、エンドツーエンドの教師あり学習が実現される。

ABSTRACT

Much of studies on neural computation are based on network models of static neurons that produce analog output, despite the fact that information processing in the brain is predominantly carried out by dynamic neurons that produce discrete pulses called spikes. Research in spike-based computation has been impeded by the lack of efficient supervised learning algorithm for spiking networks. Here, we present a gradient descent method for optimizing spiking network models by introducing a differentiable formulation of spiking networks and deriving the exact gradient calculation. For demonstration, we trained recurrent spiking networks on two dynamic tasks: one that requires optimizing fast (~millisecond) spike-based interactions for efficient encoding of information, and a delayed memory XOR task over extended duration (~second). The results show that our method indeed optimizes the spiking network dynamics on the time scale of individual spikes as well as behavioral time scales. In conclusion, our result offers a general purpose supervised learning algorithm for spiking neural networks, thus advancing further investigations on spike-based computation.

研究の動機と目的

• スパikesの非微分可能特性による、スパikingニューラルネットワークに対する効率的な教師あり学習アルゴリズムの欠如に対処すること。
• スパイクの主要な生物学的特性（閾値を超える入力に対して一定のシナプス電荷を供給）を保持しつつ、スパイクダイナミクスの微分可能定式化を開発すること。
• スパイク時刻と行動的スケールの両方の時間スケールで、再帰的スパイクネットワークの勾配ベース最適化を可能にすること。
• 2つの動的タスク（高速スパイクベースエンコーディングと遅延記憶XOR計算）における手法の有効性を実証すること。

提案手法

• スパイクの閾値トリガー型シナプス電流を、前シナプス膜電位の微分（g·dv/dt）に適用した狭いゲート関数 g(v) を用いた微分可能なモデルに置き換え、閾値を超える任意の去分極に対して一定の総電荷供給を保証する。
• τ·ds/dt = -s + g·dv/dt として、シナプス電流ダイナミクスを定義し、標準的な閾値トリガー型モデルを一般化。これにより滑らかな勾配計算が可能になる。
• 微分可能なシナプスモデルを微分可能なニューロンダイナミクス（例：QIF もしくは NIF モデル）と結合し、トレーニング可能な重み W、U、O およびトニック入力 Io を有する連続時間動的システムとしてネットワーク全体を定式化する。
• 連続時間ネットワーク方程式を微分することで、バックプロパゲーションスパンタイム（BPTT）を用いて正確な勾配を導出。これによりエンドツーエンド最適化が可能になる。
• 出力に至るまでのスパイン電流をマッピングする線形リードアウト層（o = O·s）を用い、損失関数を予測出力とターゲット出力の平均二乗誤差として定義する。
• 本手法を再帰的ネットワークの学習に適用し、正弦波入力を用いた高速エンコーディングタスクおよび変動するイベント間隔を持つ遅延記憶XORタスクの両方を実行する。

実験結果

リサーチクエスチョン

• RQ1 スパイクネットワークの微分可能定式化が、教師あり学習のための正確な勾配計算を可能にするか？
• RQ2 勾配降下法が個々のスパイクのミリ秒スケールのダイナミクスを最適化できるか？
• RQ3 本手法により、長時間（数秒）にわたる非線形計算を実行するスパイクネットワークを学習可能か？
• RQ4 高速シナプスを必要とせずに、スパイク時刻ベースの効率的エンコーディングが達成できるか？
• RQ5 本手法は、単純なインターレート・アンド・ファイア型を越えた生物学的に現実的なニューロンモデルへ一般化可能か？

主な発見

• 本手法により、30ニューロンのスパイクネットワークが、高い精度で所望の出力信号を追跡でき、入力電流のタイトなバランスと頑健なスパイク時刻ベースエンコーディングが達成された。
• 最適な再帰的重み行列 W は理論的予測 W ≈ U·A·O とよく一致しており、本手法が複雑なダイナミクスを学習可能であることを確認した。
• 入力と go-cue シグナルの間隔が変動する遅延記憶XORタスクを、入力履歴に基づき正しい出力パルス（正、負、またはゼロ）を生成することで解消した。
• スパイクパターンは持続的かつ時間的に変化する活性を示し、入力履歴を保持し、go-cue に対して適切に応答しており、数秒にわたる有効な記憶と計算が実現された。
• 高速シナプスや追加の dendritic 非線形性を必要とせず、内在的な QIF ニューロンダイナミクスのみで本タスクが達成された。
• 勾配更新はスパイク時刻付近に集中し、報酬変調型 STDP に類似していた。これは生物学的妥当性の可能性を示唆している。