[論文レビュー] Online Spatio-Temporal Learning in Deep Neural Networks

Thomas Bohnstingl, Stanisław Woźniak+3 more|arXiv (Cornell University)|Jul 24, 2020

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿では、空間的および時間的勾配成分を分離する、深層スパikingニューラルネットワーク（SNN）向けの新しいオンライン学習アルゴリズムであるオンライン時空間学習（OSTL）を提案する。OSTLは、浅いSNNではBPTTと同等の勾配を達成し、深層SNNおよびRNN（LSTMやGRUを含む）の低複雑性オンライン学習を可能にし、言語モデリングおよび音声認識タスクにおいてBPTTベースラインと同等の性能を発揮する。

ABSTRACT

Biological neural networks are equipped with an inherent capability to continuously adapt through online learning. This aspect remains in stark contrast to learning with error backpropagation through time (BPTT) applied to recurrent neural networks (RNNs), or recently to biologically-inspired spiking neural networks (SNNs). BPTT involves offline computation of the gradients due to the requirement to unroll the network through time. Online learning has recently regained the attention of the research community, focusing either on approaches that approximate BPTT or on biologically-plausible schemes applied to SNNs. Here we present an alternative perspective that is based on a clear separation of spatial and temporal gradient components. Combined with insights from biology, we derive from first principles a novel online learning algorithm for deep SNNs, called online spatio-temporal learning (OSTL). For shallow networks, OSTL is gradient-equivalent to BPTT enabling for the first time online training of SNNs with BPTT-equivalent gradients. In addition, the proposed formulation unveils a class of SNN architectures trainable online at low time complexity. Moreover, we extend OSTL to a generic form, applicable to a wide range of network architectures, including networks comprising long short-term memory (LSTM) and gated recurrent units (GRU). We demonstrate the operation of our algorithm on various tasks from language modelling to speech recognition and obtain results on par with the BPTT baselines. The proposed algorithm provides a framework for developing succinct and efficient online training approaches for SNNs and in general deep RNNs.

研究の動機と目的

• オンライン学習シナリオにおけるバックプロパゲーションスルータイム（BPTT）の制限、特にシステムロックおよび高メモリ要件を解消すること。
• BPTTと同等の勾配を維持する生物学的に妥当な、深層スパikingニューラルネットワーク（SNN）向けのオンライン学習アルゴリズムの開発。
• フィードフォワードおよび再帰的SNN、特にLSTMおよびGRUアーキテクチャを含む、効率的で低複雑性のオンライン学習を可能にすること。
• 生物学的ニューロン計算にインspiredして、空間的および時間的勾配成分を分離することで、SNNおよびRNNのオンライン学習を統一すること。

提案手法

• 再帰的SNNにおける空間的および時間的勾配成分の明確な分離を、第一原理から導出する。
• 学習信号とエリジビリティトレースに重み更新を分解する学習ルールを定式化し、三要因学習ルールに類似する。
• 浅いネットワークでは、OSTLはBPTTおよびRTRLと同等の正確な勾配を維持し、遅延更新を伴う。
• 時間計算量O(kn²)で、kを層数、nをニューロン数として、深層フィードフォワードSNNへと拡張する。
• エリジビリティトレースフレームワークにLSTMおよびGRUの内部ゲーティングメカニズムを統合することで、再帰的ネットワークへの一般化を実現。
• 完全なアンロールを避けるために、切り詰めたエリジビリティトレースを使用し、過去の状態を保存せずにリアルタイム更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SNNにおけるオンライン学習が、完全な時間的アンロールを必要とせずにBPTT同等の勾配を達成できるか。
• RQ2 空間的および時間的勾配成分をどのように分離することで、深層SNNにおける効率的オンライン学習を可能にするか。
• RQ3 OSTLをLSTMやGRUのような複雑なRNNユニットに拡張できるか。その際、性能と低時間計算量を維持できるか。
• RQ4 エリジビリティトレースにおける再帰行列Hを無視した場合、性能および計算コストにどのような影響を与えるか。
• RQ5 長時間依存性を示すタスクにおいて、OSTLは切り詰めたBPTTや他のオンライン近似手法と比較してどのように性能を発揮するか。

主な発見

• OSTLは、浅いSNNにおいてBPTTと同等の勾配を達成し、オフライン計算を必要としない正確なオンライン学習を可能にする。
• 深層フィードフォワードSNNでは、言語モデリングおよび音声認識タスクにおいてBPTTベースラインと同等の性能を発揮する。
• TIMIT音声認識タスクでは、短いホライズンの切り詰めたBPTTを上回り、アンロールを伴わず競争力ある誤差率を維持する。
• エリジビリティトレースにおけるH行列を無視することで、時間計算量がO(n²)に低下し、性能低下はわずか4%にとどまる。一方、ランダムe-propでは15%の低下を示す。
• OSTLは、LSTMおよびGRUを含む深層RNNの低複雑性オンライン学習を可能にし、精度の損失を最小限に抑える。
• アルゴリズムはリアルタイム適応をサポートしており、低消費電力エッジデバイスやプライバシーに配慮したアプリケーションへの展開に適している。