[論文レビュー] A probabilistic model for learning in cortical microcircuit motifs with data-based divisive inhibition

Robert Legenstein, Zeno Jonke+2 more|arXiv (Cornell University)|Jul 17, 2017

Neural dynamics and brain functionNeuroscience参考文献 28被引用数 20

ひとこと要約

本稿では、層2/3の皮質マイクロサーキットモチーフに対して、データに基づく除法的抑制の下で、伝統的なウィナー・トゥク・オール（WTA）フレームワークに代わるノイジーオンリー（noisy-OR）に類似した確率的生成モデルを提案する。このモデルは、スパイク時間依存可塑性（STDP）がオンライン期待最大化（EM）を近似可能であり、重ね合わせられた入力のモジュラー表現を学習することで、ブラインド・ソース分離を実現できることを示している。

ABSTRACT

Previous theoretical studies on the interaction of excitatory and inhibitory neurons proposed to model this cortical microcircuit motif as a so-called Winner-Take-All (WTA) circuit. A recent modeling study however found that the WTA model is not adequate for data-based softer forms of divisive inhibition as found in a microcircuit motif in cortical layer 2/3. We investigate here through theoretical analysis the role of such softer divisive inhibition for the emergence of computational operations and neural codes under spike-timing dependent plasticity (STDP). We show that in contrast to WTA models - where the network activity has been interpreted as probabilistic inference in a generative mixture distribution - this network dynamics approximates inference in a noisy-OR-like generative model that explains the network input based on multiple hidden causes. Furthermore, we show that STDP optimizes the parameters of this model by approximating online the expectation maximization (EM) algorithm. This theoretical analysis corroborates a preceding modelling study which suggested that the learning dynamics of this layer 2/3 microcircuit motif extracts a specific modular representation of the input and thus performs blind source separation on the input statistics.

研究の動機と目的

• ウィナー・トゥク・オール（WTA）モデルの限界を克服し、よりソフトでデータに基づく除法的抑制を用いた皮質マイクロサーキットダイナミクスを説明すること。
• PV+抑制性 interneuron による抑制を組み込んだ、層2/3マイクロサーキットの計算的機能をよりよく捉える確率的生成モデルを構築すること。
• このモデルにおけるSTDPが、生成モデルのパラメータを学習するオンライン期待最大化（EM）を近似することを示すこと。
• このようなマイクロサーキットがSTDPを介して入力統計のモジュラー表現を抽出する理論的基盤を確立すること。

提案手法

• 活性化した興奮性ニューロンにガウス事前分布を適用し、入力パターンを説明するノイジーオンリーに類似した尤度項を有する生成モデルを定式化する。
• 神経サンプリング理論を適用し、マイクロサーキットモチーフが提示された生成モデルにおける確率的推論を近似することを示す。
• オンライン期待最大化（EM）による生成モデル学習を近似するように最適化される、可塑性則を導出する。
• この可塑性則が生物学的に妥当なSTDPに類似した学習則によって近似可能であることを示す。
• 64次元のバーパターンを用いたシミュレーションにより、重ね合わせられた入力を再構築する能力を検証する。
• 真の事後分布と近似事後分布の間のKLダイバージェンスを用いて、学習中の推論精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 皮質層2/3マイクロサーキットにおけるよりソフトでデータに基づく除法的抑制は、従来のWTAモデルと比較して、計算的機能の出現にどのように影響するか？
• RQ2 確率的生成モデルは、このマイクロサーキットモチーフで観察されるブラインド・ソース分離を説明できるか？
• RQ3 このネットワークにおけるSTDPは、生成モデルパラメータを学習するオンライン期待最大化（EM）を近似するか？
• RQ4 正規化またはホームオスタシス的メカニズムは、このモデルにおける効果的なソース分離を可能にする役割を果たすか？
• RQ5 学習中に、ネットワークは生成モデルにおける事後分布推論をどの程度正確に近似するか？

主な発見

• 除法的抑制を伴うネットワークダイナミクスは、WTA回路が用いる混合モデルとは異なり、ノイジーオンリーに類似した生成モデルにおける確率的推論を近似する。
• STDPは効果的にオンライン期待最大化（EM）を近似可能であり、生成モデルのパラメータを教師なしで学習可能である。
• モデルは成功裏にブラインド・ソース分離を実行し、重ね合わせられた入力パターンを独立成分に分離する。
• 真の事後分布と近似事後分布の間のKLダイバージェンスは時間経過とともに減少し、学習に伴う推論精度の向上を示している。
• 事前分布パラメータを変更してもモデルの安定性が保たれるため、仮定の変化に耐性があることが示された。
• 最大事後確率隠れ状態を用いた入力パターンの再構築は高い忠実度を示しており、有効な表現学習が実現されていることを確認した。