[論文レビュー] Optimality of short-term synaptic plasticity in modelling certain dynamic environments

Timoleon Moraitis, Abu Sebastian+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Memory and Neural Computing参考文献 65被引用数 4

ひとこと要約

この論文は、短期性シナプス可塑性（STP）、特に短時間促進を伴うスパイク時刻依存可塑性（STDP）が、動的に変化する環境における予測および推論においてベイズ最適であることを証明している。著者らは、局所的で教師なしのSTPのみを用いるスパikingニューラルネットワーク（SNN）が、極めて歪んだ未学習の動的スティミュリを認識できることを示しており、バックプロパゲーションで学習されたディープニューラルネットワークを上回る性能を発揮している。これは、神経形状AIにおける計算的優位性の根幹をなすSTPのメカニズムを確立するものである。

ABSTRACT

Biological neurons and their in-silico emulations for neuromorphic artificial intelligence (AI) use extraordinarily energy-efficient mechanisms, such as spike-based communication and local synaptic plasticity. It remains unclear whether these neuronal mechanisms only offer efficiency or also underlie the superiority of biological intelligence. Here, we prove rigorously that, indeed, the Bayes-optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on short-term spike-timing-dependent plasticity, a hallmark of biological synapses. Further, this dynamic Bayesian inference through plasticity enables circuits of the cerebral cortex in simulations to recognize previously unseen, highly distorted dynamic stimuli. Strikingly, this also introduces a biologically-modelled AI, the first to overcome multiple limitations of deep learning and outperform artificial neural networks in a visual task. The cortical-like network is spiking and event-based, trained only with unsupervised and local plasticity, on a small, narrow, and static training dataset, but achieves recognition of unseen, transformed, and dynamic data better than deep neural networks with continuous activations, trained with supervised backpropagation on the transforming data. These results link short-term plasticity to high-level cortical function, suggest optimality of natural intelligence for natural environments, and repurpose neuromorphic AI from mere efficiency to computational supremacy altogether.

研究の動機と目的

• 生物学的シナプス可塑性メカニズム、特に短期性可塑性（STP）が、エネルギー効率性に加え、自然知能における計算的優位性の根幹をなしているかどうかを明らかにすること。
• STPが時間とともに連続的かつランダムに変化する環境において、最適なベイズ推論を可能にするかどうかを調査すること。
• 教師なしで局所的なSTPのみを用いるスパikingニューラルネットワーク（SNN）が、標準的な人工ニューラルネットワーク（ANN）よりも動的視覚認識タスクで優れた性能を発揮できるかどうかを検証すること。
• 厳密なベイズフレームワークを通じて、低レベルのシナプスダイナミクスと高レベルの皮質計算の間の機械的関連性を確立すること。

提案手法

• 著者らは、連続的かつランダムに変化する環境においてSTPがベイズ最適推論を可能にすることを数学的に証明した。
• バックプロパゲーションを用いず、教師なしで局所的な可塑性ルールのみで学習する、STPをシナプスに組み込んだスパikingニューラルネットワーク（SNN）を実装した。
• ネットワークはスパイク時刻と最近の活動に基づいてシナプス効力を動的に調整する短時間促進メカニズム（ST-STDP）を用いた。
• ネットワークは、回転する顔など、変形するスティミュリを含む動的視覚認識タスクでテストされた。このタスクでは、以前に学習した視点でない、未学習の視点を認識する必要がある。
• 同じ動的データセット上で、教師ありバックプロパゲーションで学習された標準的なANN（RNNやLSTMを含む）と性能を比較した。
• モデルは、RNNの再帰的記憶とは別個の、シナプスレベルの短時間記憶メカニズムを組み込み、各シナプスに独立した記憶を保持できるようにした。

実験結果

リサーチクエスチョン

• RQ1 短期性シナプス可塑性（STP）は、連続的かつランダムに変化する環境における推論と予測においてベイズ最適であるか？
• RQ2 教師なしで局所的なSTPのみを用いるスパikingニューラルネットワーク（SNN）は、標準的な人工ニューラルネットワーク（ANN）よりも、歪んでおり未学習の動的スティミュリをよりよく認識できるか？
• RQ3 SNNにおけるシナプスレベルの短時間記憶は、RNNやLSTMが採用する再帰的記憶に比べて、質的計算的優位性を提供するか？
• RQ4 生物学的に妥当なイベント駆動型SNNは、最小限の学習データと教師なし学習の下で、バックプロパゲーションで学習されたANNを上回る視覚認識性能を発揮できるか？

主な発見

• 論文は、連続的かつランダムに変化する環境においてSTPがベイズ最適推論を可能にすることを数学的に証明した。
• ST-STDPを用いるSNNは、訓練された視点でないにもかかわらず、回転する顔の正面視などの以前に見たことのない極めて歪んだ動的スティミュリを正しく認識できた。
• 同じ動的視覚認識タスクにおいて、教師ありバックプロパゲーションで学習されたディープニューラルネットワークをSNNが上回った。
• SNNの性能優位性は、各シナプスごとに独立して最新の特徴表現を保持する、シナプス固有の短時間記憶に起因しており、RNN や LSTM がニューロンレベルの再帰的記憶に依存するのとは対照的である。
• SNNは、シナプス促進の短い時間定数により、ノイズの多いフレームでも高い正確性を維持した一方で、閉塞フレームに対しても全体的にANNを上回る性能を示した。
• 結果から、STPは単なるエネルギー効率化機構ではなく、生物学的知能およびニューロモーフィック知能における計算的優位性の根幹的要因である可能性が示唆された。