[論文レビュー] Winner-Take-All as Basic Probabilistic Inference Unit of Neuronal Circuits

Zhaofei Yu, Yonghong Tian+2 more|arXiv (Cornell University)|Aug 2, 2018

Neural dynamics and brain function参考文献 25被引用数 5

ひとこと要約

本稿では、勝者頭ひとつ（WTA）型皮質マイクロサーキットが、確率的推論の基本的神経的実装であると提唱している。その動的挙動は、確率的グラフィカルモデルにおける平均場変分推論と正確に一致する。各WTAサーキットは、ニューロンの発火頻度によって周辺確率を符号化し、相互に接続されたWTAサーキットは連合分布を表現でき、信念伝播法や平均場近似と同等の推論精度を達成する。

ABSTRACT

Experimental observations of neuroscience suggest that the brain is working a probabilistic way when computing information with uncertainty. This processing could be modeled as Bayesian inference. However, it remains unclear how Bayesian inference could be implemented at the level of neuronal circuits of the brain. In this study, we propose a novel general-purpose neural implementation of probabilistic inference based on a ubiquitous network of cortical microcircuits, termed winner-take-all (WTA) circuit. We show that each WTA circuit could encode the distribution of states defined on a variable. By connecting multiple WTA circuits together, the joint distribution can be represented for arbitrary probabilistic graphical models. Moreover, we prove that the neural dynamics of WTA circuit is able to implement one of the most powerful inference methods in probabilistic graphical models, mean-field inference. We show that the synaptic drive of each spiking neuron in the WTA circuit encodes the marginal probability of the variable in each state, and the firing probability (or firing rate) of each neuron is proportional to the marginal probability. Theoretical analysis and experimental results demonstrate that the WTA circuits can get comparable inference result as mean-field approximation. Taken together, our results suggest that the WTA circuit could be seen as the minimal inference unit of neuronal circuits.

研究の動機と目的

• 脳における確率的推論を実装可能な最小限で汎用性の高い神経サーキットモチーフを同定すること。
• WTA神経ダイナミクスと確率的グラフィカルモデル（PGM）における平均場推論の間の理論的同等性を確立すること。
• シナプス結合や入力によってポテンシャル関数を符号化することで、WTAサーキットが任意の連合分布を表現できることを示すこと。
• 各ニューロンの発火頻度が、変数が特定の状態にある周辺確率を正確に符号化することを検証すること。
• 相互に接続されたWTAサーキットが、鎖状、ループ状、完全結合型など任意のトポロジーを持つ複雑なPGMにスケーリング可能であり、信念伝播法や平均場近似と同等の性能を示すこと。

提案手法

• 側方抑制を介して競合する興奮性ニューロンと抑制性インターニューロンで構成されるスパイクニューロンネットワークとしてWTAサーキットを形式化する。
• 各ニューロンのシナプス駆動に対する連続時間微分方程式を導出する。この方程式は、周辺確率の平均場推論更新則と数学的に同等であることが示される。
• 各ニューロンの発火頻度を変数状態の周辺確率にマッピングし、線形スケーリング係数（例：50 Hz = 確率 1.0）を用いる。
• マコフ確率的場（MRF）の連合分布を表現するために、相互に接続されたWTAサーキットネットワークを用い、シナプス結合がポテンシャル関数を符号化する。
• 鎖状、ループ状、完全結合型のさまざまなMRFトポロジーにおけるWTAネットワークのスパイクダイナミクスをシミュレートし、信念伝播法や平均場近似との推論結果を比較する。
• 信念伝播法による周辺確率とWTAネットワークからの発火頻度との間の相対誤差を用いて、推論精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 勝者頭ひとつ（WTA）サーキットは、皮質マイクロサーキットにおける確率的推論の最小限の神経モチーフとして機能できるか？
• RQ2 WTAサーキットのダイナミクスと確率的グラフィカルモデルにおける平均場変分推論の間に、正確な数学的同等性があるか？
• RQ3 シナプス結合や入力によってポテンシャル関数を符号化することで、WTAサーキットが任意の連合分布を表現できるか？
• RQ4 WTAニューロンの発火頻度は、確率的モデルにおける変数状態の周辺確率を正確に反映しているか？
• RQ5 WTAベースの推論は、信念伝播法や平均場近似といった既存の推論アルゴリズムと同等の性能を示すように、複雑なグラフトポロジーにスケーリング可能か？

主な発見

• WTAサーキット内の各ニューロンのシナプス駆動は、周辺確率の平均場推論更新式と数学的に同等である。
• 各WTAニューロンの発火頻度は、対応する変数状態の周辺確率に比例し、確率空間への線形マッピング（例：50 Hz = 1.0）が成り立つ。
• 鎖状、単一ループ、完全結合型トポロジーを持つMRFにおいて、WTAネットワークは信念伝播法や平均場近似と同等の推論精度を達成する。
• 完全結合グラフにおいては、平均場近似に比べてWTA推論がやや過信しにくく、信念伝播法の結果とより良好に一致する。
• WTA発火頻度と信念伝播法による周辺確率との相対誤差は時間経過とともに減少し、正確な推論への収束を示している。
• 理論的考察とシミュレーション結果から、相互に接続されたWTAサーキットが、任意の確率的グラフィカルモデルにおける連合分布の表現と推論を実現できることを確認した。