[論文レビュー] Spike-based probabilistic inference with correlated noise

Ilja Bytschok, Dominik Dold+3 more|arXiv (Cornell University)|Jul 6, 2017

Neural dynamics and brain function参考文献 1被引用数 7

ひとこと要約

本稿では、スパイクベースの確率的推論が、共有入力ノイズに起因する相関ノイズに対しても安定することを示しており、そのノイズは合成シナプス感受性とバイアスの体系的調整によって補正可能である。主な貢献は、ノイズ相関とネットワークパラメータの全単射写像を確立したことであり、これにより共有入力ノイズが存在する状況でも正確なボルツマン分布サンプリングが可能となり、学習性能が維持される。

ABSTRACT

A steadily increasing body of evidence suggests that the brain performs probabilistic inference to interpret and respond to sensory input and that trial-to-trial variability in neural activity plays an important role. The neural sampling hypothesis interprets stochastic neural activity as sampling from an underlying probability distribution and has been shown to be compatible with biologically observed firing patterns. In many studies, uncorrelated noise is used as a source of stochasticity, discounting the fact that cortical neurons may share a significant portion of their presynaptic partners, which impacts their computation. This is relevant in biology and for implementations of neural networks where bandwidth constraints limit the amount of independent noise. When receiving correlated noise, the resulting correlations cannot be directly countered by changes in synaptic weights $W$. We show that this is contingent on the chosen coding: when changing the state space from $z\in\{0,1\}$ to $z'\in\{-1,1\}$, correlated noise has the exact same effect as changes in $W'$. The translation of the problem to the $\{-1,1\}$ space allows to find a weight configuration that compensates for the induced correlations. For an artificial embedding of sampling networks, this allows a straightforward transfer between platforms with different bandwidth constraints. The existence of the mapping is important for learning. Since in the $\{-1,1\}$-coding the correlated noise can be compensated by parameter changes and the probability distribution can be kept invariant when changing the coding, the distribution will be found in the $\{0,1\}$-coding as well during learning, as demonstrated in simulations. Conclusively, sampling spiking networks are impervious to noise correlations when trained. If such computation happens in cortex, network plasticity does not need to take account of shared noise inputs.

研究の動機と目的

• 共有プリシナプス入力に起因する相関ノイズがスパイクニューラルネットワークにおける確率的推論に与える影響を調査すること。
• このようなノイズがスパイクネットワークにおける目的のボルツマン分布からのサンプリングを妨げるかどうかを特定すること。
• 学習能力と所望の分布からのサンプリング能力を維持したまま、ノイズ相関を補正する手法を開発すること。
• 帯域制限や生物学的に現実的な条件下での共有ノイズ源を伴う信頼性の高いネットワーク訓練を可能にすること。

提案手法

• 著者らは、バイナリステート上のボルツマン分布からのサンプリングとして解釈されるスパイクニューラルネットワークの活動を、漏れ積分・発火（LIF）ニューロンを用いてモデル化する。
• ノイズ相関と重み効果の解析を簡略化するため、{0,1}ニューロン状態から{-1,1}状態への変換を導入する。
• 相関係数rを中間変数として用い、共有ノイズ比sと{-1,1}状態空間内での必要なシナプス重み変化ΔW′との間の全単射写像を導出する。
• 変換式W = 4W′およびb = 2b′ + 2W′を用いて、この写像を{0,1}状態空間に再翻訳し、確率分布を保持する。
• 2および10ニューロンのLIFネットワークにおいて、補正有無でのサンプリング分布と目的分布のKLダイバージェンスを比較することで、補正手法の妥当性を検証する。
• ウェイクスリープ学習アルゴリズムをLIFネットワークに直接適用し、ノイズ相関が存在する中でも学習が有効に機能することを示す。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークにおける相関ノイズが、目的のボルツマン分布からの正確なサンプリングを妨げるか。
• RQ2 共有ノイズ入力の存在が、スパイクネットワークがサンプリング可能な分布族を変化させるか。
• RQ3 相関ノイズの影響を、シナプス重みとバイアスを体系的に調整することで完全に補正可能か。
• RQ4 補正手法は、異なるネットワークサイズおよびノイズ相関レベルにおいても頑健か。
• RQ5 ウェイクスリープのような標準的な学習ルールは、ノイズ相関が存在するスパイクネットワークでも依然として有効か。

主な発見

• 相関ノイズは、同期状態(0,0)および(1,1)に確率質量をシフトさせるが、これはシナプス重みWijの増加とは異なる影響を示す。
• 相関ノイズが存在する中でも、サンプリング分布は依然としてボルツマン分布であるが、パラメータが変更されたものであり、神経サンプリングの理論的枠組みは維持される。
• {-1,1}状態空間内でのノイズ相関強度sと必要なシナプス重み変化ΔW′との間の全単射写像が導出され、正確な補正が可能となった。
• 導出された写像を用いた補正後、共有ノイズに起因するサンプリング誤差はほぼ完全に回復され、テストされた分布においてKLダイバージェンスはほぼゼロにまで低下した。
• ウェイクスリープ学習アルゴリズムは、ボルツマンマシンからLIFネットワークへの直接的なパrameter変換よりも優れた性能を示し、動的不一致に対してエンドツーエンド学習がより頑健であることを示唆した。
• 結果から、適切なパrameter補正が施されていれば、ネットワークの可塑性がノイズ相関を明示的に考慮する必要がないことが示唆された。