[論文レビュー] Spike-based primitives for graph algorithms

Kathleen E. Hamilton, Tiffany M. Mintz+1 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Memory and Neural Computing参考文献 19被引用数 5

ひとこと要約

本稿では、スパイクに基づく原始的演算を、スパイク伝播の内在的並列性を活用して、スパイキング神経モルフォニックハードウェアを用いてグラフアルゴリズムに適用する手法を提案する。抽出、列挙、検証の各タスクを実装する。静的および可塑性シナプスの両方が、最短経路、三角形カウント、クリーク検出などのグラフ原始的演算を効率的に計算できることを示しており、主な結果として、イベント駆動型スパイクダイナミクスを用いることで、コア演算の時間計算量がO(1)またはO(d)となることが明らかになった。

ABSTRACT

In this paper we consider graph algorithms and graphical analysis as a new application for neuromorphic computing platforms. We demonstrate how the nonlinear dynamics of spiking neurons can be used to implement low-level graph operations. Our results are hardware agnostic, and we present multiple versions of routines that can utilize static synapses or require synapse plasticity.

研究の動機と目的

• ニューラルネットワークの応用を超えて、グラフアルゴリズム実行のための新規プラットフォームとして神経モルフォニックコンピューティングを検討すること。
• 離散的グラフ演算を、最小限の計算オーバーヘッドでイベント駆動型スパイクニューロンシステムにマッピングする課題に取り組むこと。
• 可塑性なしのプラットフォームを含む、両方の神経モルフォニックプラットフォームで動作するハードウェアに依存しない実装を提供すること。
• より大きなグラフ解析パイプラインの構築ブロックとして使用可能な、スパイクベースの原始的演算の数学的基盤を確立すること。
• スパイクニューロンが非線形ダイナミクスとスパイク伝播を通じて、グラフ理論的演算をネイティブに表現できることを示すこと。

提案手法

• 各頂点の次数や構造的役割に基づいて、異なった発火閾値 $v_{th}$ を持つスパイクニューロンにグラフ頂点をマッピングする。
• 等方的スパイク伝播（1つのニューロンからのスパイクが、すべての接続されたニューロンに同時に伝播する）を用い、グラフ走査および部分グラフ解析における大規模並列処理を実現する。
• 抽出ルーチン（例：近隣頂点、単一ソース最短経路）を、反復的または並列的スパイク伝播により実装し、最大クロック時間（MCT）をグラフ構造と閾値対重み比に制限する。
• 列挙アルゴリズム（例：三角形カウント）をスパイク収束を用いて設計：頂点が必要な閾値に達するスパイク数を受信した場合にのみ発火し、これにより三角形などの構造的特徴が示される。
• 検証プリミティブ（例：クリーク検出）を、候補となる $K_n$ 部分グラフに対してニューロンの閾値を $n-1$ に設定することで作成し、内部発火が完全な接続性を確認する。
• 二重実装を提供：可塑性のないプラットフォーム向けに静的シナプスを使用するバージョンと、高速かつ並列実行が可能な可塑性シナプスを使用するバージョンを別々に実装し、各ルーチンごとの複雑度解析を実施。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューロンは、その内在的ダイナミクスを用いて、最短経路計算や部分グラフ列挙といった基本的グラフ演算をネイティブに実装可能か？
• RQ2 スパイクベースの原始的演算は、可塑性あり・なしの両方の神経モルフォニックシステムをサポートするハードウェアに依存しないように設計可能か？
• RQ3 伝統的アルゴリズムと比較して、スパイクベースのグラフ原始的演算の計算複雑度（クロックステップ数およびニューロンの読み書き回数）はいかほどか？
• RQ4 スパイク数と閾値処理のみを用いて、クリークや三角形といった構造的性質の検証にスパイク収束を応用可能か？
• RQ5 可塑性シナプスは、反復的静的シナプスアプローチと比較して、スパイクベースのグラフアルゴリズムにおける計算時間をどの程度短縮できるか？

主な発見

• 静的シナプスを用いた最近傍頂点抽出は、$v_{th}/s_w = 1$ で1クロックステップで達成され、読み込みはゼロ、書き込みは1回でニューロン集合をインスタンス化可能。
• 静的シナプスを用いたクリーク検証は、1クロックステップで完了し、候補となる $K_n$ に対して閾値 $v_{th} = n-1$ を設定。すべての $n$ 個のニューロンが $n-1$ 個の入力スパイクに反応して発火した場合にのみ成功。
• エッジベース検出による三角形列挙は、$v_{th}/s_w = 2$ で1クロックステップで完了。頂点ベース列挙では $d+1$ 回の書き込みが必要で、$d$ は最大次数を表す。
• 部分グラフ抽出に関しては、静的シナプスバージョンでは $N+1$ クロックステップと2回の書き込みを要するが、可塑性シナプスバージョンでは2ステップに短縮され、1回の読み込みと2回の書き込みで実現。
• 可塑性シナプスの使用により並列実行が可能となり、特定の演算においてMCTを $O(N)$ から $O(1)$ に短縮でき、性能向上が顕著に現れる。
• このフレームワークはハイブリッド計算をサポート：スパイクベースの原始的演算と非スパイクデータ構造を組み合わせ、中間結果を保存することで、スケーラブルかつ異種のグラフアルゴリズムが可能になる。