[論文レビュー] Probabilistic Synapses

Laurence Aitchison, Alex Pouget+1 more|arXiv (Cornell University)|Oct 4, 2014

Neural dynamics and brain function参考文献 4被引用数 6

ひとこと要約

この論文は、シナプスがシナプス効果量の確率分布を維持することでベイズ推論を実行すると提案している。つまり、平均値と不確実性（誤差範囲）の両方を記憶する。これらの分布からのサンプリングにより、シナプスは不確実性に応じて学習レートを調整し、伝達のばらつきを通じて不確実性を伝える。これにより、ノイズの多い環境でも迅速かつ頑健に学習できる、ノーマティブで生物学的に妥当な枠組みが得られる。

ABSTRACT

Learning, especially rapid learning, is critical for survival. However, learning is hard: a large number of synaptic weights must be set based on noisy, often ambiguous, sensory information. In such a high-noise regime, keeping track of probability distributions over weights - not just point estimates - is the optimal strategy. Here we hypothesize that synapses take that optimal strategy: they do not store just the mean weight; they also store their degree of uncertainty - in essence, they put error bars on the weights. They then use that uncertainty to adjust their learning rates, with higher uncertainty resulting in higher learning rates. We also make a second, independent, hypothesis: synapses communicate their uncertainty by linking it to variability, with more uncertainty leading to more variability. More concretely, the value of a synaptic weight at a given time is a sample from its probability distribution. These two hypotheses cast synaptic plasticity as a problem of Bayesian inference, and thus provide a normative view of learning. They are consistent with known learning rules, offer an explanation for the large variability in the size of post-synaptic potentials, and make several falsifiable experimental predictions.

研究の動機と目的

• 感覚入力が曖昧で信頼性が低い高ノイズ環境における迅速な学習の課題に対処すること。
• シナプスが重みの点推定値だけを記憶するのでなく、その不確実性も記憶することで、不確実性下での最適学習を可能にすること。
• シナプス後膜電位の観察されるばらつきが、シナプスの不確実性と重み分布からのサンプリングの直接的結果であることを説明すること。
• 既知のシナプス可塑性ルールをベイズ推論フレームワークの下で統合し、学習のノーマティブ理論を提供すること。

提案手法

• シナプスを、単一の点推定値ではなく、シナプス効果量の確率分布を維持するとモデル化する。
• 重み推定値の不確実性が高くなるほど学習レートが高くなるように、学習レートの制御を実装する。
• シナプス伝達のばらつきを、重み分布の不確実性と直接的に関連づけ、観察されるばらつきが重みの信頼性を反映するようにする。
• 任意の時点でシナプスの実際の値を、その背後にある確率分布からの確率的サンプルとみなす。
• シナプス可塑性をベイズ推論とみなす。ここで更新は、ノイズの多い入力が与えられたもとでの重みの事後分布から導かれる。
• このフレームワークを用いて、シナプスダイナミクスとばらつきに関する検証可能な予測を導出する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く曖昧な感覚入力がある状況で、シナプスはどのように最適に学習できるか？
• RQ2 シナプス伝達のばらつきの機能的役割は何か？また、それがシナプス重みの不確実性を符号化できるか？
• RQ3 シナプス可塑性ルールは、ノーマティブなベイズ推論の視点から導出可能か？
• RQ4 シナプス重みの不確実性が、学習レートと適応速度にどのように影響するか？
• RQ5 この確率的シナプスモデルを古典的な点推定モデルと区別するための実験的シグネチャーは何か？

主な発見

• 重みの確率分布を記憶し、その分布からのサンプリングを行うシナプスは、高ノイズ環境でも最適な学習を達成できる。
• 不確実性が高くなるほど学習レートが上昇し、重み推定値が信頼できない場合に迅速な適応が可能になる。
• シナプス後膜電位のばらつきは、不確実な重み分布からのサンプリングに起因し、生物学的ばらつきを自然に説明する。
• このモデルは、スパイク時刻依存可塑性などの既存のシナプス可塑性ルールをノーマティブに説明できる。
• このフレームワークは、例えば異なるシナプス間でシナプスのばらつきと学習レートの相関関係といった、検証可能な予測を生成する。
• このモデルは、シナプス伝達の見かけ上のランダム性を、情報理論的根拠に基づいた役割と統合する。