[論文レビュー] Synaptic Weight Distributions Depend on the Geometry of Plasticity

Roman Pogodin, Jonathan Cornford+4 more|arXiv (Cornell University)|May 30, 2023

Neuroscience and Neuropharmacology ResearchNeuroscience被引用数 3

ひとこと要約

本稿は、脳内のシナプス重み分布が損失関数だけでなく、可塑性の下位幾何構造によって形作られていることを示している。ミラー降下理論を用いて、実験的によく観察される対数正規分布が非ユークリッド的シナプス幾何を示唆することを示し、神経科学モデルにおけるユークリッド的勾配降下の仮定に挑戦している。

ABSTRACT

A growing literature in computational neuroscience leverages gradient descent and learning algorithms that approximate it to study synaptic plasticity in the brain. However, the vast majority of this work ignores a critical underlying assumption: the choice of distance for synaptic changes - i.e. the geometry of synaptic plasticity. Gradient descent assumes that the distance is Euclidean, but many other distances are possible, and there is no reason that biology necessarily uses Euclidean geometry. Here, using the theoretical tools provided by mirror descent, we show that the distribution of synaptic weights will depend on the geometry of synaptic plasticity. We use these results to show that experimentally-observed log-normal weight distributions found in several brain areas are not consistent with standard gradient descent (i.e. a Euclidean geometry), but rather with non-Euclidean distances. Finally, we show that it should be possible to experimentally test for different synaptic geometries by comparing synaptic weight distributions before and after learning. Overall, our work shows that the current paradigm in theoretical work on synaptic plasticity that assumes Euclidean synaptic geometry may be misguided and that it should be possible to experimentally determine the true geometry of synaptic plasticity in the brain.

研究の動機と目的

• 計算神経科学における広く受け入れられている仮定、すなわちシナプス可塑性が重み空間におけるユークリッド幾何（すなわちL2ノルム距離）を用いることを挑戦すること。
• 特に対数正規分布であるが、実験的に観察されたシナプス重み分布が、ユークリッド幾何における標準的勾配降下と整合するかどうかを調査すること。
• ミラー降下に基づく理論的枠組みを構築し、シナプス幾何とそれによるシナプス重みの分布を結びつけること。
• 学習前の重み分布と学習後の重み分布を比較することで、候補となるシナプス幾何を実験的にテストするための手法を提供すること。
• 負のエントロピーまたはpノルムによって誘導されるような非ユークリッド幾何が、ユークリッド幾何よりも実験データとより整合的であることを示すこと。

提案手法

• 多様な発散（例：カルバック・ライバラー発散、負のエントロピー、pノルム）を用いるミラー降下理論を適用し、シナプス可塑性をモデル化する。発散の選択がシナプス幾何を定義する。
• 弱い仮定のもとで、双対空間において全シナプス重み変化が、損失関数にかかわらず概ね正規分布に近くなることを導出する。
• この双対性を用いて、元の空間でシナプス重み分布が対数正規分布である場合、双対空間では非ユークリッド幾何が生じている必要があることを示す。
• 深層ニューラルネットワークの学習を用いて、さまざまなpノルムおよび負のエントロピーを用いて、この枠組みを実証的に検証し、異なる幾何における重み変化の大きさを観察する。
• モデル予測を、[34]などのシナプス体積測定から得られた実験データと比較し、双対空間で混合モデルをフィッティングして観察された対数正規分布に一致させる。
• 実験的検証の提案：学習前の重み分布と学習後の重み分布を比較することで、予測された分布的結果に基づいて候補となる幾何を除外できる。

実験結果

リサーチクエスチョン

• RQ1 脳におけるシナプス重みの観察された対数正規分布は、シナプス可塑性の非ユークリッド的幾何を示唆するか？
• RQ2 損失関数に依存しない形で、シナプス重みの分布からシナプス可塑性の幾何を同定できるか？
• RQ3 標準的勾配降下とユークリッド幾何を用いるモデルは、実験的に観察されたシナプス重み分布と整合的か？
• RQ4 学習前の重み分布と学習後の重み分布を比較することで、シナプス幾何を実験的にテストできるか？
• RQ5 非ユークリッド的シナプス幾何は、脳の学習と可塑性のモデルにどのような意味を持つのか？

主な発見

• 皮質および海馬領域でよく観察される対数正規分布のシナプス重み分布は、ユークリッド幾何における標準的勾配降下とは整合しない。
• ミラー降下理論により、損失関数を一定に保ったまま、シナプス重み分布が可塑性の下位幾何に依存していることが示された。
• 任意の有効な幾何において、シナプス変化の双対空間は概ね正規分布に近く、実験的に観察された分布と一致させることで真の幾何が特定できる。
• 負のエントロピーおよびpノルム幾何（例：3ノルム）は、実験的に観察された対数正規分布および混合分布の両方を再現できる。
• 訓練済みの深層ネットワークにおける重み変化の大きさは通常0.2未満であり、負のエントロピー変化は0.02未満にとどまっていた。これは、小規模変化近似の妥当性を支持している。
• 本フレームワークにより、実験的予測が可能になった。学習前の重み分布と学習後の重み分布を比較することで、候補となる幾何を除外でき、今後の神経科学研究における検証可能な仮説を提供している。