[論文レビュー] Short-term synaptic plasticity optimally models continuous environments.

Timoleon Moraitis, Abu Sebastian+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Memory and Neural Computing参考文献 48被引用数 5

ひとこと要約

本論文は、短期記憶性シナプス可塑性（STDP）が、変化し続ける環境における最適な推論を可能にすると提案している。理論的分析とシミュレーションを通じて、局所的で教師なし学習を用いる生物学的にインspiredなスパイクニューラルネットワーク（SNN）が、動的遮断を伴う動画フレームの認識において、最先端の人工ニューラルネットワーク（ANN）を上回ることを示している。これは、少数の静的画像での学習と1層のニューロンのみを用いても、優れた正確性を達成している。

ABSTRACT

Biological neural networks operate with extraordinary energy efficiency, owing to properties such as spike-based communication and synaptic plasticity driven by local activity. When emulated in silico, such properties also enable highly energy-efficient machine learning and inference systems. However, it is unclear whether these mechanisms only trade off performance for efficiency or rather they are partly responsible for the superiority of biological intelligence. Here, we first address this theoretically, proving rigorously that indeed the optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on adaptivity through short-term spike-timing dependent plasticity, a hallmark of biological neural networks. Secondly, we assess this theoretical optimality via simulations and also demonstrate improved artificial intelligence (AI). For the first time, a largely biologically modelled spiking neural network (SNN) surpasses state-of-the-art artificial neural networks (ANNs) in all relevant aspects, in an example task of recognizing video frames transformed by moving occlusions. The SNN recognizes the frames more accurately, even if trained on few, still, and untransformed images, with unsupervised and synaptically-local learning, binary spikes, and a single layer of neurons - all in contrast to the deep-learning-trained ANNs. These results indicate that on-line adaptivity and spike-based computation may optimize natural intelligence for natural environments. Moreover, this expands the goal of exploiting biological neuro-synaptic properties for AI, from mere efficiency, to computational supremacy altogether.

研究の動機と目的

• 生物学的ニューロンメカニズム、たとえば短期記憶性シナプス可塑性が、生物学的知能の計算的優位性（エネルギー効率以上のもの）に寄与するかどうかを明らかにすること。
• STDPが、一般的な自然現象である継続的に変化する環境において、最適な予測と推論を可能にするかどうかを調査すること。
• 生物学的に現実的なスパイクニューラルネットワークが、現実世界のタスクにおいて、最先端の人工ニューラルネットワークを上回る性能を示すかどうかを検証すること。
• 教師なし、シナプス的に局所的な学習およびバイナリスパイクが、最小限の構造的複雑性で高い性能を達成する役割を果たすかどうかを評価すること。

提案手法

• 理論的分析により、短期記憶性スパイクタイミング依存可塑性（STDP）が、ランダムかつ連続的に変化する環境における予測と推論に対して数学的に最適であることが証明された。
• シミュレーションは、1層のニューロン、バイナリスパイク、および教師なしで局所的に利用可能な学習ルールを有するスパイクニューラルネットワーク（SNN）を用いて実施された。
• SNNは、少数の静的で変形のない画像で学習され、動的遮断によって劣化した動画フレームでテストされ、汎化性と適応性が評価された。
• 性能は、同じ認識タスクにおいて深層学習で学習された人工ニューラルネットワーク（ANN）と比較された。
• 学習ルールは、バックプロパゲーションを用いずに、局所的な前シナプスおよび後シナプス活動に依存していた。
• モデルの適応性はSTDPから自然に生じ、再学習を必要とせずに動的入力変化にオンラインで調整可能であった。

実験結果

リサーチクエスチョン

• RQ1 短期記憶性スパイクタイミング依存可塑性（STDP）は、継続的に変化する環境における推論に対して理論的に最適であるか？
• RQ2 局所的で教師なし学習を用いる生物学的に現実的なスパイクニューラルネットワークは、動的視覚認識において最先端の人工ニューラルネットワークを上回る性能を示せるか？
• RQ3 バイナリスパイクとバックプロパゲーションなしの単一層SNNは、遮断下の動画認識においてどの程度高い正確性を達成できるか？
• RQ4 STDPによるオンライン適応性は、最小限の静的データでの学習でも、優れた性能を実現できるか？

主な発見

• 理論的分析により、短期記憶性STDPが、継続的に変化する環境における推論に対して最適であることが厳密に証明された。
• SNNは、わずか数枚の静的画像での学習にもかかわらず、動的遮断を伴う動画フレームの認識において、最先端のANNを上回る正確性を達成した。
• SNNは、正確性、耐性、適応性のあらゆる側面でANNを上回ったが、バックプロパゲーションや深層アーキテクチャを一切使用しなかった。
• 性能の向上は、単に教師なしでシナプス的に局所的な学習ルールとバイナリスパイクを用いることで達成された。これは、生物学的メカニズムの計算的パワーを強調している。
• 結果は、STDPによるオンライン適応性が、自然で動的な状況下での優れた推論を可能にすることを示している。
• 本研究は、生物学的シナプス的性質が、エネルギー効率を超えて、現実世界のAIタスクにおける計算的優位性を実現できることを確立した。