[論文レビュー] Computational Tradeoffs in Biological Neural Networks: Self-Stabilizing Winner-Take-All Networks

Nancy Lynch, Cameron Musco+1 more|arXiv (Cornell University)|Oct 6, 2016

Advanced Memory and Neural Computing参考文献 28被引用数 5

ひとこと要約

本稿は、勝者1つ取り（WTA）ネットワークにおける計算的トレードオフを研究するため、生物学的に妥当な確率的スパikingニューラルネットワーク（SNN）モデルを導入する。特に、抑制の複雑さが収束時間に与える影響に焦点を当てる。2つの構成が提示される：1つ目は、O(θ)の期待収束時間とO(log^{1/θ}n)の抑制ニューロンを用い、2つ目は、O(log^{1/θ}n)の時間とO(θ)の抑制ニューロンを用いる。さらに、ほぼタイトな下界を示し、抑制ニューロンが≥ log log n個あるネットワークはΩ(log log n)ラウンドを要することを示し、WTAの効率に関する根本的な限界を明らかにする。

ABSTRACT

We initiate a line of investigation into biological neural networks from an algorithmic perspective. We develop a simplified but biologically plausible model for distributed computation in stochastic spiking neural networks and study tradeoffs between computation time and network complexity in this model. Our aim is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. In this paper, we focus on the important `winner-take-all' (WTA) problem, which is analogous to a neural leader election unit: a network consisting of $n$ input neurons and $n$ corresponding output neurons must converge to a state in which a single output corresponding to a firing input (the `winner') fires, while all other outputs remain silent. Neural circuits for WTA rely on inhibitory neurons, which suppress the activity of competing outputs and drive the network towards a converged state with a single firing winner. We attempt to understand how the number of inhibitors used affects network convergence time. We show that it is possible to significantly outperform naive WTA constructions through a more refined use of inhibition, solving the problem in $O(θ)$ rounds in expectation with just $O(\log^{1/θ} n)$ inhibitors for any $θ$. An alternative construction gives convergence in $O(\log^{1/θ} n)$ rounds with $O(θ)$ inhibitors. We compliment these upper bounds with our main technical contribution, a nearly matching lower bound for networks using $\ge \log\log n$ inhibitors. Our lower bound uses familiar indistinguishability and locality arguments from distributed computing theory. It lets us derive a number of interesting conclusions about the structure of any network solving WTA with good probability, and the use of randomness and inhibition within such a network.

研究の動機と目的

• 生物学的ニューラルネットワークにおける計算時間とネットワーク複雑度の間のアルゴリズム的トレードオフを調査すること。
• 生物学的に妥当で、確率的スパikingニューラルネットワーク（SNN）フレームワークにおいて、勝者1つ取り（WTA）計算をモデル化すること。
• 抑制ニューロンの数がWTAネットワークの収束時間に与える影響を分析すること。
• WTA収束にかかるタイトな理論的限界を確立し、効率性の根本的限界を示すこと。
• 確率的な抑制を用いて、任意の初期状態からも収束する自己安定化（self-stabilization）を示すこと。

提案手法

• 膜電位に基づき、シグモイド的スパイク関数を用いて、確率的に発火する神経細胞を用いる確率的スパikingニューラルネットワーク（SNN）モデルを開発する。
• n個の入力ニューロン、n個の出力ニューロン、およびα個の補助的抑制ニューロンを伴う、分散計算問題としてWTAをモデル化する。
• 2段階のサブラウンドメカニズムを導入する：第1段階では、補助ニューロンが入力活動に基づき発火する。第2段階では、出力ニューロンが抑制に基づき確率的に発火する。
• 収束を分析するために、実行木の走査を用い、ラウンドごとの確率質量を追跡し、非弱WTA状態を特定する。
• 分散計算から借用した不変性と局所性の議論を用いて、収束時間の下界を導出する。
• アモアタイズド確率解析を用いて、非弱WTA構成の重みをバウンディングし、主要な下界に至る。

実験結果

リサーチクエスチョン

• RQ1 抑制ニューロンの数が、確率的スパikingモデルにおけるWTAネットワークの期待収束時間にどのように影響するか？
• RQ2 抑制ニューロンをサブラインアー数で用いることで、サブラインアー時間でWTAを解けるか。そのトレードオフは何か？
• RQ3 ≥ log log n個の抑制ニューロンを用いる場合、WTA収束時間の根本的下界は何か？
• RQ4 スパイク行動のランダムネスが、WTAネットワークの安定性と収束にどのように影響するか？
• RQ5 WTAネットワークは自己安定化可能か。任意の初期状態からも正しい状態に収束するか？

主な発見

• 本稿は、任意のθ > 0に対して、O(log^{1/θ}n)の抑制ニューロンで十分なWTAネットワークを構築し、O(θ)の期待収束ラウンドを達成する。
• 代替的な構成により、O(θ)の抑制ニューロンでO(log^{1/θ}n)の収束時間を達成でき、時間と抑制ニューロン数のトレードオフを示す。
• ほぼタイトな下界が証明された：≥ log log n個の抑制ニューロンを用いる任意のWTAネットワークは、Ω(log log n)の期待収束ラウンドを要する。
• この下界は、分散計算から借用した不変性と局所性の議論を神経系の文脈に適応することで導出された。
• 少ない抑制ニューロンを用いるネットワークは、確率的安定化に依存しなければならず、モデル下で自己安定化が達成可能であることが示された。
• 複数の活性出力が存在する場合、完全なリセット（出力が発火しない）の確率はΘ(1/(log log n)^3)で下から抑えられ、収束制御が可能になる。