[論文レビュー] Winner-Take-All Computation in Spiking Neural Networks

Nancy Lynch, Cameron Musco+1 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Memory and Neural Computing参考文献 80被引用数 10

ひとこと要約

本稿では、確率的しきい値ニューロンを用いて、生物学的に妥当な確率的スパikingニューラルネットワークモデルを提示し、効率的にワーカー・トゥー・アラウンド（WTA）問題を解く。WTA回路の近似的最適な構成を提供し、収束に必要な補助ニューロン数の理論的下界を確立し、ランダムネスがニューラルコンピューティングにおける対称性の打破を効率的に行うことを示している。

ABSTRACT

In this work we study biological neural networks from an algorithmic perspective, focusing on understanding tradeoffs between computation time and network complexity. Our goal is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. Towards this goal, we consider the implementation of algorithmic primitives in a simple yet biologically plausible model of $stochastic\ spiking\ neural\ networks$. In particular, we show how the stochastic behavior of neurons in this model can be leveraged to solve a basic $symmetry-breaking\ task$ in which we are given neurons with identical firing rates and want to select a distinguished one. In computational neuroscience, this is known as the winner-take-all (WTA) problem, and it is believed to serve as a basic building block in many tasks, e.g., learning, pattern recognition, and clustering. We provide efficient constructions of WTA circuits in our stochastic spiking neural network model, as well as lower bounds in terms of the number of auxiliary neurons required to drive convergence to WTA in a given number of steps. These lower bounds demonstrate that our constructions are near-optimal in some cases. This work covers and gives more in-depth proofs of a subset of results originally published in [LMP17a]. It is adapted from the last chapter of C. Musco's Ph.D. thesis [Mus18].

研究の動機と目的

• 生物学的ニューラルネットワークにおける計算時間とネットワーク複雑性の間のアルゴリズム的トレードオフを研究すること。
• 生物学的に関連する特徴を捉えた確率的スパikingニューラルネットワークモデルにおいて、効率的なWTA回路を設計すること。
• WTA収束に必要な補助ニューロン数の漸近的下界を確立し、提案された構成の近似的最適性を証明すること。
• ニューロンを確率的しきい値ユニットとしてモデル化し、固定で非対称なシナプス重みを用いることで、理論的分析と生物学的妥当性を統合すること。
• WTAのような基本的演算を構成要素とするアルゴリズム的ニューラルコンピューティング理論の基盤を築くこと。

提案手法

• 膜電位に基づくシグモイド確率でスパイクする確率的しきい値ユニットとしてニューロンをモデル化し、神経細胞の発火における内因性の確率的性質を捉える。
• 生物学的シナプスを模倣した固定で非対称なシナプス重み（興奮性または抑制性）を用い、ボルツマンマシンの対称的重み制約を回避する。
• 同期的更新モデルを採用し、入力電位に基づいて確率的にスパイクするニューロンを用い、収束ダイナミクスの解析を可能にする。
• 補助ニューロンを用いて入力の発火レートの差を強調し、入力が同一であっても確率的競合によって差を生じさせるWTA回路を設計する。
• 確率的解析と集中不等式を適用し、収束時間および補助ニューロン数の境界を導出する。
• 与えられたステップ数内でWTAを収束させるために必要な補助ニューロン数の下界を証明し、特定の領域で提案された構成が近似的に最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 固定シナプス重みを有する生物学的に妥当な確率的スパikingニューラルネットワークモデルにおいて、WTA問題はどのように効率的に実装可能か？
• RQ2 このようなモデルにおいて、与えられた時間制約内でWTA収束を達成するために必要な最小の補助ニューロン数はどの程度か？
• RQ3 神経細胞のスパイクにおける固有の確率的性質を活用することで、リーダー選出のような対称性の打破タスクを計算的に効率的に解くことができるか？
• RQ4 提案されたWTA構成は、リソース効率（時間とニューロン数）の観点から理論的下界と比較してどのように評価されるか？
• RQ5 ランダムネスと固定重みを用いることは、基本的ニューラルコンピューティングプリミティブの実装にどのような意味を持つのか？

主な発見

• 本稿では、入力数に対して対数的時間で収束する効率的なWTA回路構成を、確率的スパikingニューラルネットワークモデルにおいて提示している。
• WTA収束に必要な補助ニューロン数の理論的下界を確立し、提案された構成が特定のパrameter領域で近似的に最適であることを示している。
• ニューロンスパイクの確率的性質により、入力ニューロンの発火レートが同一であっても、効果的な対称性の打破が可能となり、リーダー選出問題が解決される。
• モデルは、神経スパイクのランダムネスが、ニューラルコンピューティングの基本的問題に対する効率的解決法として有用であることを示している。
• 先行研究を拡張し、スパキングネットワークにおけるWTAの時間的・空間的複雑度の漸近的解析を厳密に行い、この分野における境界に関する文献の空白を埋めている。
• 本フレームワークは、将来のスパキングニューラルネットワーク（SNN）におけるハミング重み推定、文字列照合、線形代数的演算などのニューラルコンピューティングプリミティブの探求を支援する。