[論文レビュー] A theoretical basis for efficient computations with noisy spiking neurons

Zeno Jonke, Stefan Habenschuss+1 more|arXiv (Cornell University)|Dec 18, 2014

Neural dynamics and brain function参考文献 8被引用数 4

ひとこと要約

本稿は、スパイクの到着時刻とノイズを計算リsourcesとして活用することで、ノイズのあるスパikingニューラルネットワークを用いた効率的計算のための新しい理論的枠組みを提案する。3-SATのような困難な制約充足問題において、従来手法よりも顕著な優位性を示し、内部温度制御機構とWTAおよびORモチーフを有するモジュラーなネットワーク設計により高い性能を達成する。

ABSTRACT

Network of neurons in the brain apply - unlike processors in our current generation of computer hardware - an event-based processing strategy, where short pulses (spikes) are emitted sparsely by neurons to signal the occurrence of an event at a particular point in time. Such spike-based computations promise to be substantially more power-efficient than traditional clocked processing schemes. However it turned out to be surprisingly difficult to design networks of spiking neurons that are able to carry out demanding computations. We present here a new theoretical framework for organizing computations of networks of spiking neurons. In particular, we show that a suitable design enables them to solve hard constraint satisfaction problems from the domains of planning - optimization and verification - logical inference. The underlying design principles employ noise as a computational resource. Nevertheless the timing of spikes (rather than just spike rates) plays an essential role in the resulting computations. Furthermore, one can demonstrate for the Traveling Salesman Problem a surprising computational advantage of networks of spiking neurons compared with traditional artificial neural networks and Gibbs sampling. The identification of such advantage has been a well-known open problem.

研究の動機と目的

• グローバルクロックを必要としない、計算的に強力でエネルギー効率の良いスパイクベースのニューラルネットワークの理論的基盤を構築すること。
• ノイズと正確なスパイク到着時刻が、スパikingネットワークにおいて計算リソースとしてどのように活用できるかを示すこと。
• 従来の人工ニューラルネットワークやギブスサンプリングよりも、3-SATのような困難な制約充足問題をより効率的に解くこと。
• スティリスティックな最適化中に探索行動を動的に調整できる、内部温度制御機構を備えたネットワークアーキテクチャを設計すること。
• WTAやORといったモジュラー回路モチーフと補助ニューロンを用いて、NP困難問題に対してスケーラブルで線形サイズのネットワークを実現すること。

提案手法

• ネットワークは、時間窓τ内での各スパイクが変数の割り当てに対応するスパイクパターンによって問題状態を符号化する。
• WTA（勝者-全員）とORゲートのモジュラー回路モチーフは、補助ニューロンを用いてエネルギー関数E(x)を形作り、多値変数を表現する。
• ノイズは確率的探索を可能にし、一時的に高エネルギーの中間状態を訪れることで、高エネルギー障壁を回避する。
• 内部温度制御は、グローバルニューロンがネットワークのダイナミクスを調整することで達成される：制約違反がない場合は活性化され、違反する節が検出されると非活性化される。
• 温度領域は、重みが異なる2つのORモチーフ（w_OR1 = 2.5, w_OR2 = 10）によって制御され、探索と活用のための高温・低温フェーズを実現する。
• N個の変数とM個の節に対して、ネットワークは3N + 2M個のニューロンと4N + 13M本の接続を用い、温度制御には追加で3M + 1個のニューロンと2N + 20M本のシナプスを必要とする。

実験結果

リサーチクエスチョン

• RQ1 スパイクベースのニューラルネットワークは、スパイクの到着時刻とノイズのみを用いて、3-SATのような困難な制約充足問題を効率的に解くことができるか？
• RQ2 ノイズをスパイクネットワークにおける障害要因ではなく、体系的に計算リソースとして活用する方法は何か？
• RQ3 グローバルクロックなしで、スパイクネットワークにおける効率的な確率的探索を可能にするアーキテクチャ的原則は何か？
• RQ4 スパイクネットワークに内部温度制御機構を実装し、探索と活用のバランスを動的に制御できるか？
• RQ5 ギブスサンプリングや従来の人工ニューラルネットワークと比較して、スパイクベースのネットワークが最適化タスクにおいてどのような計算的優位性を示すか？

主な発見

• 提案されたネットワークアーキテクチャは、満たされた節の数を全節数で割った性能比を達成し、シミュレーションで高い値を示した。
• 586個のニューロン（50変数、218節）を有するネットワークは、確率的ダイナミクスを通じて有効に妥当な解に収束した。
• 内部温度制御機構は、制約違反が検出された際に自動的にグローバルニューロンを非活性化し、再構成の必要性を示す。
• 巡回セールスマン問題と3-SATの両方において、ギブスサンプリングや標準的な人工ニューラルネットワークよりも計算的優位性を示した。
• ニューロンとシナプスの数は問題サイズに線形にスケーリングされ、大規模なインスタンスに対してもスケーラブルである。
• 異なるORモチーフの重み（2.5 対 10）の使用により、高温・低温領域の明確な分離が可能となり、動的探索制御にとって不可欠である。