[論文レビュー] Computational models of long term plasticity and memory

Stefano Fusi|arXiv (Cornell University)|Jun 15, 2017

Neural dynamics and brain function参考文献 76被引用数 7

ひとこと要約

この論文は、長期的なシナプス可塑性および記憶の計算モデルをレビューし、特に履歴依存性のシナプスダイナミクスを含む多様な生物学的メカニズムが、効率的で高容量の記憶格納を可能にすることを強調している。複雑でマルチスケールの生化学的相互作用を組み込んだモデル、例えば段階的および二安定性シナプスは、疎な神経表現と相関に基づく再編成を活用することで、最適な記憶寿命と容量を達成する。

ABSTRACT

Memory is often defined as the mental capacity of retaining information about facts, events, procedures and more generally about any type of previous experience. Memories are remembered as long as they influence our thoughts, feelings, and behavior at the present time. Memory is also one of the fundamental components of learning, our ability to acquire any type of knowledge or skills. In the brain it is not easy to identify the physical substrate of memory. Basically, any long-lasting alteration of a biochemical process can be considered a form of memory, although some of these alterations last only a few milliseconds, and most of them, if taken individually, cannot influence our behavior. However, if we want to understand memory, we need to keep in mind that memory is not a unitary phenomenon, and it certainly involves several distinct mechanisms that operate at different spatial and temporal levels. One of the goals of theoretical neuroscience is to try to understand how these processes are orchestrated to store memories rapidly and preserve them over a lifetime. Theorists have mostly focused on synaptic plasticity, as it is one of the most studied memory mechanisms in experimental neuroscience and it is known to be highly effective in training artificial neural networks to perform real world tasks. Some of the synaptic plasticity models are purely phenomenological, some others have been designed to solve computational problems. In this article I will review some of these models and I will try to identify computational principles that underlie memory storage and preservation.

研究の動機と目的

• 生物学的制約がある中で、シナプス可塑性のメカニズムが脳が生涯にわたり記憶を保持できる仕組みを理解すること。
• 現実的なシナプスダイナミクスを有する神経ネットワークにおける、効率的な記憶格納と回収の背後にある計算的原則を特定すること。
• シナプス変数、履歴依存性、ネットワークの疎性が記憶容量と安定性に与える影響を分析することで、理論的モデルと生物学的妥当性を橋渡しすること。
• 複数の時間的・空間的スケールの可塑性を統合する統一的なフレームワークを、記憶格納に適用する挑戦に応えること。

提案手法

• パーセプトロンアルゴリズムなどの抽象的学習ルールを分析し、教師あり学習およびパターン分類におけるその役割を検討する。
• ホフスタッモデル、二安定性シナプス、段階的モデルを含むシナプス可塑性モデルをレビューし、記憶容量および寿命のスケーリングに焦点を当てる。
• 数学的解析を用いて、疎な神経表現（f ≈ アクティブなニューロンの割合）における記憶容量および安定性のスケーリング則を導出する。
• 履歴依存性を有するシナプスダイナミクスを理論的フレームワークでモデル化し、記憶の安定性が生化学的プロセス間の複雑な相互作用に依存することを示す。
• 無限大、二安定性、段階的、双方向段階的など、異なるシナプスモデルを、シナプス変数のダイナミクス、記憶寿命、情報格納容量の観点から比較する。
• 計算神経科学と機械学習の知見を統合し、生物学的に妥当でありながら計算的に強力なモデルを提案する。

実験結果

リサーチクエスチョン

• RQ1 一時的な生化学的変化がある中で、シナプス可塑性メカニズムは脳が長期記憶を格納できるのか？
• RQ2 神経ネットワークが時間の経過とともに安定性を保ちながら高容量記憶を達成できる計算的原則は何か？
• RQ3 神経活動の疎性（f）は、シナプスモデルにおける記憶寿命および総情報格納量にどのように影響するか？
• RQ4 シナプスダイナミクスにおける履歴依存性は、記憶効率を向上させ、干渉を防ぐどのような方法で寄与するか？
• RQ5 シナプス可塑性の理論的モデルを、生物学的に妥当であり、複雑な計算問題を効果的に解けるようにはたしてどのように設計できるか？

主な発見

• 段階的モデルおよび双方向段階的モデルは、記憶寿命が $N^2$ に比例し、総情報格納量が $N$ ビットに達し、最小の疎性 $f \sim 1/N$ で最適性能を示す。
• 遅い脱感作（$\sim f$）と速い強化（$\sim 1$）を示す二安定性シナプスは、記憶寿命が $N$ に比例し、総情報格納容量が $\sqrt{N}$ に達するが、シナプスダイナミクスに依存する。
• 複雑な生化学的相互作用に起因する履歴依存性を持つシナプスモデルは、単純で記憶のないモデルよりも、より効率的な記憶格納を可能にする。
• 理論的モデルは、記憶容量が、記憶同士の相関を活用し、情報の圧縮不能で疎な成分のみを格納することで最大化されることを示している。
• 無限大のシナプスモデル（Tsodyks & Feigel'man, 1988）は定常状態を持たず、初期の信号対雑音比を報告しないが、依然として高容量記憶をサポートする。
• 双方向段階的モデルは、記憶寿命が $\sim N^2$、総情報量が $\sim N$ に達し、記憶寿命が $1/\sqrt{t}$ に比例するため、時間経過による減衰に対して頑健である。