[論文レビュー] Stimulating STDP to Exploit Locality for Lifelong Learning without Catastrophic Forgetting.

Jason M. Allred, Kaushik Roy|arXiv (Cornell University)|Feb 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 5

ひとこと要約

本論文は、ドーパミンにインspiredされた刺激を用いてスパイクタイミング依存可塑性（STDP）を活用するスパイキングニューラルネットワーク（SNN）フレームワークを提案する。このフレームワークは、新規で外れ値の情報処理を行うニューロンにのみ選択的に更新を行うことで、継続的学習における壊滅的忘却を防止する。MNISTでは、順次に非重複データセットを学習した場合、最大93.88%の精度を達成し、制御不能で動的な環境下でも安定性を示す。

ABSTRACT

Stochastic gradient descent requires that training samples be drawn from a uniformly random distribution of the data. For a deployed system that must learn online from an uncontrolled and unknown environment, the ordering of input samples often fails to meet this criterion, making lifelong learning a difficult challenge. We exploit the locality of the unsupervised Spike Timing Dependent Plasticity (STDP) learning rule to target subsets of a segmented Spiking Neural Network (SNN) to adapt to novel information while protecting the information in the remainder of the SNN from catastrophic forgetting. In our system, novel information triggers stimulated firing, inspired by biological dopamine signals, to boost STDP in the synapses of neurons associated with outlier information. This targeting controls the forgetting process in a way that reduces accuracy degradation while learning new information. Our preliminary results on the MNIST dataset validate the capability of such a system to learn successfully over time from an unknown, changing environment, achieving up to 93.88% accuracy for a completely disjoint dataset.

研究の動機と目的

• 制御不能で非定常な環境下で動作する継続的学習システムにおける壊滅的忘却の課題に取り組む。
• 通常のオンライン学習ではしばしば満たされないが、確率的勾配降下法（SGD）が均等にランダムなデータ順序を必要とするという制限を克服する。
• STDPの局所性を活用し、新規または外れ値の入力を処理するニューロンサブネットワークにのみ選択的に更新を行う。
• 新しい情報に適応しながら、以前に学習したタスクの精度低下を最小限に抑える。
• 再トレーニングやデータ分布の事前知識が不要な状態で、展開済みシステムにおいて安定的かつ段階的な学習を可能にする。

提案手法

• 学習の局所化と記憶領域の分離を図るため、スパイキングニューラルネットワークをサブネットワークに分割する。
• 事前および事後のスパイクのタイミングに基づいてシナプスを強化する、主な非教師あり学習ルールとしてスパイクタイミング依存可塑性（STDP）を用いる。
• 新規または外れ値の入力を処理するニューロンでのみ、強化されたSTDP活性を引き起こすドーパミンにインスパイドされた刺激信号を導入する。
• 新規情報に関連するシナプスにのみ刺激を適用することで、プラスティシティを集中させ、既存の知識への干渉を最小限に抑える。
• スパイク活動のパターンを通じて外れ値の入力を動的に同定し、そのような入力が検出された場合にのみ刺激を活性化する。
• 特定の文脈的に関連するサブネットワークにのみプラスティシティを制限することで、以前に学習した表現の整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 新規または外れ値の入力に応じてSTDPに基づくプラスティシティを効果的に選択的に強化することで、壊滅的忘却を軽減できるか？
• RQ2 ドーパミンにインスパイドされた刺激は、段階的学習における学習済み表現の安定性をどのように向上させるか？
• RQ3 スパイキングニューラルネットワークが、性能劣化を伴わずに非重複データセットのシーケンスから学習できる範囲はどの程度か？
• RQ4 入力の新規性に基づいてプラスティシティを特定のサブネットワークに集中させることで、学習効率と精度保持が向上するか？
• RQ5 均等にランダムなデータ順序が保証されないオンラインで非定常な環境でも、このアプローチは効果的に機能するか？

主な発見

• システムは、壊滅的忘却を伴わず、非重複MNISTデータセットのシーケンスから学習を成功させた。
• 提案手法は、最終的なデータセットで最大93.88%のテスト精度を達成し、以前に学習した知識の強固な保持を示した。
• 新規入力に応じてSTDPのプラスティシティを効果的に選択的に強化することで、以前に学習した表現への干渉が顕著に減少した。
• ドーパミンにインスパイドされた信号の使用により、ネットワーク全体にわたる制御不能な重み更新を最小限に抑え、標的化されたプラスティシティが実現された。
• データ分布が完全に非重複であっても、複数の学習フェーズにわたり高いパフォーマンスを維持した。
• データ順序がi.i.d.仮定を満たさない制御不能で動的な環境下でも、システムは高い耐性を示した。