[論文レビュー] Desiderata for normative models of synaptic plasticity

Colin Bredenberg, Cristina Savin|arXiv (Cornell University)|Aug 9, 2023

Neural dynamics and brain functionNeuroscience被引用数 3

ひとこと要約

本論文は、適応的行動、生物学的証拠、検証可能な予測と結びつけるために、規範的シナプス可塑性モデルを評価するための所望の条件（desiderata）のフレームワークを提案する。このフレームワークにより、モデルが理論的整合性と生物学的妥当性を両立させ、実験的検証が可能になる。REINFORCEおよびWake-Sleepアルゴリズムを事例として分析し、座標降下法やEMアルゴリズムのような最適化原理に基づくモデル化が可能であることを示すが、一般条件下では制限があることを明らかにする。

ABSTRACT

Normative models of synaptic plasticity use a combination of mathematics and computational simulations to arrive at predictions of behavioral and network-level adaptive phenomena. In recent years, there has been an explosion of theoretical work on these models, but experimental confirmation is relatively limited. In this review, we organize work on normative plasticity models in terms of a set of desiderata which, when satisfied, are designed to guarantee that a model has a clear link between plasticity and adaptive behavior, consistency with known biological evidence about neural plasticity, and specific testable predictions. We then discuss how new models have begun to improve on these criteria and suggest avenues for further development. As prototypes, we provide detailed analyses of two specific models -- REINFORCE and the Wake-Sleep algorithm. We provide a conceptual guide to help develop neural learning theories that are precise, powerful, and experimentally testable.

研究の動機と目的

• 理論と生物学的妥当性の両立を図る、規範的シナプス可塑性モデルを評価する厳密で原理的根拠に基づくフレームワークを確立すること。
• 理論的モデルと実験的検証の間のギャップを埋めるために、モデル品質を定義する明確な基準を提示すること。
• 尤度最大化や発散最小化といった最適化目的に、規範的モデルを正式に結びつける方法を示すこと。
• REINFORCE や Wake-Sleep のような代表的モデルを、これらの基準に基づいて批判的に評価し、強みと限界を特定すること。
• 正確で強力かつ実験的に検証可能な神経学習理論の今後の開発を導くこと。

提案手法

• 可塑性モデルのスケールを定義：現象的（データ要約）、機械的（生物学的因果関係）、規範的（機能的目的）。
• 規範的モデルに適した所望の条件のセットを提唱：適応的行動との明確な関連、生物学的証拠との整合性、検証可能な予測。
• REINFORCEを事例として用い、方策勾配法が行動目的を最適化する規範的可塑性ルールとしてどのように定式化できるかを示す。
• Wake-Sleepアルゴリズムを、特定の仮定下で座標降下法やEMアルゴリズムに近似する規範的モデルとして分析する。
• Wake-Sleep更新が、結合尤度目的関数に対する勾配降下法に近似する数学的条件を導出する。
• 1次テイラー近似を適用し、モデルが収束に近づいた場合に、WakeフェーズとSleepフェーズの勾配が等価であることを示す。

Figure 1: Defining normative modeling. a. Spectrum of synaptic plasticity models. Mechanistic models show how detailed biophysical interactions produce observed plasticity, phenomenological models concisely describe what changes in experimental variables (e.g. post-pre relative spike timing $\Delta

実験結果

リサーチクエスチョン

• RQ1 適応的行動に意味を持ち、生物学的に妥当な規範的シナプス可塑性モデルを特徴づける基準は何か？
• RQ2 規範的モデルは、尤度最大化や報酬最大化といった最適化目的と、どのように正式に結びつけることができるか？
• RQ3 Wake-Sleepアルゴリズムが、座標降下法やEMアルゴリズムをどの条件下で近似するのか？
• RQ4 REINFORCE や Wake-Sleep のような規範的モデルは、実務的成績を上げているが、なぜ一般条件下で収束が信頼できないのか？
• RQ5 規範的可塑性モデルが、実験的検証に耐える明確で反証可能な予測を生成するには、どのように保証すべきか？

主な発見

• モデルが収束に近づいた場合、Wake-Sleepアルゴリズムは、WakeフェーズとSleepフェーズの勾配が等価であるため、結合尤度目的関数に対する座標降下法に近似する。
• モデル分布 $ p_{m} $ が真のデータ分布 $ p $ をよく近似すると仮定すると、WakeフェーズとSleepフェーズの目的関数の勾配は近似的に等しくなる。
• 生成モデルが凸であり、全域最小値に到達可能な場合、Wake-SleepアルゴリズムはEMアルゴリズムの近似と解釈できる。
• REINFORCEは、期待報酬勾配から導かれる更新を用いることで、報酬最適化を目的とした方策勾配法を用いて、強化学習の規範的枠組みを提供する。
• 実務的成績は高いが、モデルが非凸的であるか全域最小値に到達できない一般条件下では、Wake-Sleepアルゴリズムには強い収束保証が欠ける。
• 所望の条件フレームワークにより、可塑性が適応的機能と結びつき、生物学的制約を尊重し、検証可能な予測を生み出すモデルを体系的に評価できる。

Figure 2: Architecture and scalability considerations for normative plasticity models. a. Features of realistic biological networks that normative plasticity theories should be able to account for: separation of excitatory and inhibitory neuron populations; stochastic and spiking input-output functi