[論文レビュー] Synaptic Plasticity Dynamics for Deep Continuous Local Learning.

Jacques Kaiser, Hesham Mostafa+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Memory and Neural Computing被引用数 25

ひとこと要約

本稿では、スパイクニューラルネットワークにおける生物学的にインspiredな学習ルールであるDeep Continuous Local Learning (DECOLLE) を提案する。DECOLLEは、局所的なシナプス可塑性と合成勾配を用いることで、深層かつ時間的表現学習を可能にする。自動微分を用いてユーザー定義のコスト関数から可塑性ルールを導出することで、MNISTおよびDvsGestureにおいて最先端の手法と同等の性能を達成し、低消費電力でイベント駆動型のビジョンを実現する。

ABSTRACT

A growing body of work underlines striking similarities between biological neural networks and recurrent, binary neural networks. A relatively smaller body of work, however, discusses similarities between learning dynamics employed in deep artificial neural networks and synaptic plasticity in spiking neural networks. The challenge preventing this is largely caused by the discrepancy between the dynamical properties of synaptic plasticity and the requirements for gradient backpropagation. Learning algorithms that approximate gradient backpropagation using locally synthesized gradients can overcome this challenge. Here, we show that synthetic gradients enable the derivation of Deep Continuous Local Learning (DECOLLE) in spiking neural networks. DECOLLE is capable of learning deep spatio-temporal representations from spikes relying solely on local information. Synaptic plasticity rules are derived systematically from user-defined cost functions and neural dynamics by leveraging existing autodifferentiation methods of machine learning frameworks. We benchmark our approach on the MNIST and the event-based neuromorphic DvsGesture dataset, on which DECOLLE performs comparably to the state-of-the-art. DECOLLE networks provide continuously learning machines that are relevant to biology and supportive of event-based, low-power computer vision architectures matching the accuracies of conventional computers on tasks where temporal precision and speed are essential.

研究の動機と目的

• 深層スパイクニューラルネットワークにおける局所的連続的学習を可能にすることで、人工ニューラルネットワークの学習と生物学的シナプス可塑性のギャップを埋めること。
• スパイクニューラルネットワークにおける勾配逆伝播法と局所的シナプスダイナミクスの不適合性を克服すること。
• 神経形状ハードウェアにおける深層的・連続的・イベント駆動型学習を支援する生物学的に妥当な学習ルールを開発すること。
• 局所的情報と合成勾配のみを用いて、時間的および時空間的タスクで高精度な学習を実現すること。

提案手法

• 合成勾配を用いることで、重みの更新と誤差逆伝播を分離し、深層スパイクニューラルネットワークにおける局所的学習を可能にする。
• 機械学習フレームワークの自動微分を用いて、ユーザー定義のコスト関数から体系的に可塑性ルールを導出する。
• 既存の自動微分ツールを活用し、シナプス重みの生物学的に妥当な更新ルールを生成する。
• DECOLLEは連続的でオンライン学習の枠組みで動作し、局所的な誤差信号に基づいてリアルタイムで重みを更新する。
• スパイクベースの入力で訓練された深層スパイクニューラルネットワークにこのアプローチを適用し、時間的表現学習を可能にする。
• 標準ベンチマーク、特にMNISTおよびイベント駆動型DvsGestureデータセットを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 合成勾配を用いることで、完全な逆伝播なしに深層スパイクニューラルネットワークにおける局所的連続的学習が可能になるか？
• RQ2 自動微分を用いてコスト関数から導出された可塑性ルールは、生物学的に妥当かつ効果的な学習ダイナミクスを生み出すか？
• RQ3 DECOLLEは、イベント駆動型データを用いた時空間的タスク（例：ジェスチャー認識）において、競争力のある性能を達成するか？
• RQ4 DECOLLEは、従来の深層学習モデルと同等の精度を維持しながら、低消費電力でイベント駆動型推論をサポートできるか？

主な発見

• DECOLLEは、局所的学習と合成勾配のみを用いて、MNISTデータセットで最先端の手法と同等の性能を達成する。
• イベント駆動型DvsGestureデータセットでは、DECOLLEは先端のモデルと同等の精度を達成するが、シナプス可塑性は完全に局所的である。
• 本手法は、深層スパイクニューラルネットワークにおける連続的でオンライン学習を可能にし、時間的入力シーケンスへのリアルタイム適応を支援する。
• 自動微分を用いて導出されたシナプス可塑性ルールは、グローバルな誤差信号を必要とせず、勾配ベースの学習を効果的に近似する。
• DECOLLEは、時間的精度とエネルギー効率を重視する低消費電力の神経形状コンピューティングアーキテクチャの実現可能性を示している。