[論文レビュー] The Computational Cost of Asynchronous Neural Communication

Yael Hitron, Merav Parter+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

この論文は、スパイクを発火させる神経細胞を用いた確率的ニューラルタイマーを導入し、失敗確率がδ未満であることを保証するためのニューロン数をO(log log 1/δ)にまで削減する。これは、決定的カウンタが必要とするΘ(log t)ニューロンと比べて顕著にコストを削減する。主な革新は、1つの確率的スパイク神経細胞と決定的閾値ゲートを用いた圧縮カウンティング機構であり、この機構により、タイマー構築における確率的および決定的スパイク神経ネットワークの間で、理論的に分離可能な性能が達成される。

ABSTRACT

Biological neural computation is inherently asynchronous due to large variations in neuronal spike timing and transmission delays. So-far, most theoretical work on neural networks assumes the synchronous setting where neurons fire simultaneously in discrete rounds. In this work we aim at understanding the barriers of asynchronous neural computation from an algorithmic perspective. We consider an extension of the widely studied model of synchronized spiking neurons [Maass, Neural Networks 97] to the asynchronous setting by taking into account edge and node delays. - Edge Delays: We define an asynchronous model for spiking neurons in which the latency values (i.e., transmission delays) of non self-loop edges vary adversarially over time. This extends the recent work of [Hitron and Parter, ESA'19] in which the latency values are restricted to be fixed over time. Our first contribution is an impossibility result that implies that the assumption that self-loop edges have no delays (as assumed in Hitron and Parter) is indeed necessary. Interestingly, in real biological networks self-loop edges (a.k.a. autapse) are indeed free of delays, and the latter has been noted by neuroscientists to be crucial for network synchronization. To capture the computational challenges in this setting, we first consider the implementation of a single NOT gate. This simple function already captures the fundamental difficulties in the asynchronous setting. Our key technical results are space and time upper and lower bounds for the NOT function, our time bounds are tight. In the spirit of the distributed synchronizers [Awerbuch and Peleg, FOCS'90] and following [Hitron and Parter, ESA'19], we then provide a general synchronizer machinery. Our construction is very modular and it is based on efficient circuit implementation of threshold gates. The complexity of our scheme is measured by the overhead in the number of neurons and the computation time, both are shown to be polynomial in the largest latency value, and the largest incoming degree Δ of the original network. - Node Delays: We introduce the study of asynchronous communication due to variations in the response rates of the neurons in the network. In real brain networks, the round duration varies between different neurons in the network. Our key result is a simulation methodology that allows one to transform the above mentioned synchronized solution under edge delays into a synchronized under node delays while incurring a small overhead w.r.t space and time.

研究の動機と目的

• スパイク神経ネットワークにおける時間測定のアルゴリズム的コストを理解すること、特に決定的アプローチと確率的アプローチの間のトレードオフを明らかにすること。
• ニューラルタイマー問題に取り組むこと：入力スパイクを受け取った後、正確にt回連続して出力ニューロンが発火する最小のニューラルネットワークを設計すること。
• 確率的解法が決定的解法と比較して、タイマー構築に必要なニューロン数を削減できるかどうかを検討すること。
• 同期的神経ネットワークアルゴリズムを、最小限のオーバーヘッドで非同期環境で実行できる一般化されたシミュレーション技術を開発すること。
• スパイク神経ネットワークにおける時間測定の文脈で、決定的と確率的構築法の間の理論的分離を確立すること。

提案手法

• 入力ニューロンxが発火すると、出力ニューロンyが正確にt回連続して発火する神経タイマー問題を提示する。
• 失敗確率が最大δとなるように、1つの確率的スパイク神経細胞とO(log log 1/δ)の決定的閾値ゲートを用いた確率的構成を設計する。
• 遅延モジュールとリセットモジュール（R1, R2）を介して、フェーズ間でニューロン発火を同期するための圧縮カウンティング機構を実装する。
• 時間パラメータを大きくしたパルスジェネレータを用い、フェーズ遷移を信号として送信し、マルチフェーズ実行における正しいタイミングを保証する。
• 遅延に基づく同期メカニズムを用いて、同期的ネットワーク解を非同期的解に変換する分散シミュレーションを構築する。
• 確率的構成が最適であることを証明するため、Ω(min{log log 1/δ, log t})のニューロン数に対する一致する下界を示す。

実験結果

リサーチクエスチョン

• RQ1 スパイク神経ネットワークにおけるニューラルタイマーの実装に必要なニューロン数を、確率的アプローチによって削減できるか？
• RQ2 高確率（1−δ）で正しいタイミングを達成するための最小ニューロン数は何か？
• RQ3 スパイク神経ネットワークの文脈で、決定的と確率的構築法の間に理論的分離が存在するか？
• RQ4 任意のエッジ遅延を許容する非同期環境で、同期的神経ネットワークアルゴリズムを効率的にシミュレートする方法は何か？
• RQ5 圧縮カウンティングは、効率的かつスケーラブルな神経ネットワーク同期を実現するために果たす役割は何か？

主な発見

• O(log log 1/δ)のスパイク神経細胞を用いた確率的ニューラルタイマーを構築可能であり、失敗確率が最大δであることを保証できる。
• 構成には1つの確率的スパイク神経細胞のみを用い、残りのニューロンはすべて決定的閾値ゲートである。
• 本研究では、Ω(min{log log 1/δ, log t})のニューロン数に対する一致する下界を確立し、構成が漸近的に最適であることを証明した。
• 本研究は、決定的と確率的スパイク神経ネットワーク構築法の間で、初めて理論的分離を確立した。確率的バージョンはδに関して指数的に優れたニューロン数を達成する。
• 任意の同期的神経ネットワークアルゴリズムを、わずかなニューロン数と計算時間のオーバーヘッドで非同期環境で実行できる一般化されたシミュレーション技術を開発した。
• 圧縮カウンティング機構により、フェーズ間での効率的な同期が可能となり、変動するエッジ遅延があっても正しいタイミングが保証される。