[論文レビュー] Memory capacity of neural network models

Stefano Fusi|arXiv (Cornell University)|Aug 17, 2021

Neural Networks and Applications被引用数 5

ひとこと要約

本章は、神経ネットワークモデルにおける記憶容量を理解するための理論的枠組みを提示する。特に、シナプスの複雑さ、表現のスパarsity、および時間的相関が記憶と再構築に与える影響に焦点を当てる。境界付きで不正確なシナプスが、特に生物学的制約下で記憶容量を最大化するために、メタプラスティシティやカスケードダイナミクスのような複雑な可塑性メカニズムを必要とすることを示している。

ABSTRACT

Memory is a complex phenomenon that involves several distinct mechanisms. These mechanisms operate at different spatial and temporal levels. This chapter focuses on the theoretical framework and the mathematical models that have been developed to understand how these mechanisms are orchestrated to store, preserve and retrieve a large number of memories. In particular, this chapter reviews the theoretical studies on memory capacity, in which the investigators estimated how the number of storable memories scales with the number of neurons and synapses in the neural circuitry. The memory capacity depends on the complexity of the synapses, the sparseness of the representations, the spatial and temporal correlations between memories and the specific way memories are retrieved. Complexity is important when the synapses can only be modified with a limited precision, as in the case of biological synapses, and sparseness can greatly increase memory capacity and be particularly beneficial when memories are structured (correlated to each other). The theoretical tools discussed by this chapter can be harnessed to identify the important computational principles that underlie memory storage, preservation and retrieval and provide guidance in designing and interpreting memory experiments.

研究の動機と目的

• 生物学的制約下で神経ネットワークにおける効率的な記憶貯蔵、維持、再構築を可能にする計算的原則を特定すること。
• 境界付きの重みや限られた精度といったシナプスの制限が、記憶可能な記憶の数に与える影響を理解すること。
• スパarsity、記憶間の相関、および時間的ダイナミクスが記憶容量をどのように向上させるかを調査すること。
• 理論的シナプス可塑性モデルが神経科学における実験的設計と解釈をどのように導くかを評価すること。
• 特にホフスタットネットワークやフリーリコールシステムのようなモデルにおいて、大規模な記憶再構築が可能となる条件を特定すること。

提案手法

• 重みベースの記憶符号化のための基礎的モデルとして、パーセプトロンおよびヘブ学習則を用いた、シナプス可塑性の数学的モデルを用いる。
• 再構築ダイナミクスを研究するための標準的自己関連記憶システムとしてホフスタットモデルを導入する。
• 信号対雑音比指標を用いて、記憶の寿命と安定性をモデル化することで、可塑性と安定性のトレードオフを分析する。
• 複雑で歴史依存のダイナミクスを模擬するため、カスケードおよび双方向カスケードモデルのシナプス可塑性を採用する。
• 理論的および計算的分析を用いて、ネットワークサイズ、シナプスの複雑さ、表現のスパarsityと記憶容量のスケーリング関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 シナプス重みの境界付き性と限られた精度は、神経ネットワークに格納可能な記憶の数にどのように制限をもたらすか？
• RQ2 マルチ変数ダイナミクスを含むメタプラスティシティなどのシナプスの複雑さは、記憶容量の上限を克服するために果たす役割は何か？
• RQ3 神経表現のスパarsityは、相関のある記憶が存在する状況でも、記憶容量にどのように影響を与えるか？
• RQ4 一部のモデルでは保存された記憶を完全に再構築できる一方、フリーリコールのような他のモデルでは、高密度の記憶容量にもかかわらず選択的再構築を示すのはなぜか？
• RQ5 理論的モデルは、パrameterチューニングなしに、実験的記憶再構築パターンをどの程度正確に予測できるか？

主な発見

• 重みが境界付きで不正確な状況下では、マルチ変数可塑性ダイナミクスを含むシナプスの複雑さが、記憶容量を最大化するために不可欠である。
• 表現のスパarsityは、シナプスの制限下にあっても、相関のない記憶の数を顕著に増加させる。
• 記憶が構造的かつ相関している場合でも、スパース表現は顕著に有益であり、情報量を減らしながらも再構築の正確性を維持する。
• カスケードモデルのシナプス可塑性は、歴史依存の変化（メタプラスティシティ）のおかげで、壊滅的忘却を防ぐことで記憶容量を顕著に向上させる。
• 双方向カスケードモデルは、長期的変化に依存する長期的増強と抑制の両方が、複雑で多段階の生化学的履歴に依存することを可能にすることで、さらに記憶容量を向上させる。
• ホフスタットネットワークのような理論的モデルは、調整可能なパrameterを必要とせず、実験データに合わせてフィットさせる必要なく、再構築性能を正確に予測できる。