[論文レビュー] Spiking Graph Convolutional Networks

Zulun Zhu, Jiaying Peng+4 more|arXiv (Cornell University)|May 5, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本論文では、グラフデータをスパイクトレインに直接符号化するグラフ畳み込み演算を用いて、生体に類似した、エネルギー効率の高い推論を実現する、エンド・トウ・エンドのスパイキング・グラフ畳み込みネットワークであるSpikingGCNを提案する。この手法は、引用ネットワーク、画像グラフ、レコメンデーションシステムにおいて競争力ある性能を達成するとともに、顕著にエネルギー消費を削減しており、神経形状ハードウェアへの実装可能性を示している。

ABSTRACT

Graph Convolutional Networks (GCNs) achieve an impressive performance due to the remarkable representation ability in learning the graph information. However, GCNs, when implemented on a deep network, require expensive computation power, making them difficult to be deployed on battery-powered devices. In contrast, Spiking Neural Networks (SNNs), which perform a bio-fidelity inference process, offer an energy-efficient neural architecture. In this work, we propose SpikingGCN, an end-to-end framework that aims to integrate the embedding of GCNs with the biofidelity characteristics of SNNs. The original graph data are encoded into spike trains based on the incorporation of graph convolution. We further model biological information processing by utilizing a fully connected layer combined with neuron nodes. In a wide range of scenarios (e.g. citation networks, image graph classification, and recommender systems), our experimental results show that the proposed method could gain competitive performance against state-of-the-art approaches. Furthermore, we show that SpikingGCN on a neuromorphic chip can bring a clear advantage of energy efficiency into graph data analysis, which demonstrates its great potential to construct environment-friendly machine learning models.

研究の動機と目的

• リソース制約のある環境における従来のグラフ畳み込みネットワーク（GCNs）の高い計算コストとエネルギー消費を低減すること。
• グラフ構造データに対するGCNsの表現力とスパイキングニューラルネットワーク（SNNs）のエネルギー効率を統合すること。
• 事前学習やANNからの変換を必要とせず、ノード分類のための直接的でエンド・トウ・エンドのSNNフレームワークを構築すること。
• 画像グラフ分類やレコメンデーションシステムにおける行列補完といった、多様なグラフベースのタスクにおいてSNNの一般化能力とエネルギー効率を実証すること。
• 生物学的に妥当なスパイク符号化と処理を用いて、神経形状ハードウェアへの実用的導入を可能にすること。

提案手法

• ノード特徴量をグラフ畳み込み演算を用いてスパイクトレインに変換するスパイクエンコーダを提案し、構造的情報を保持する。
• リークイェイト・インテグレート・アンド・ファイア（LIF）ニューロンを用いた完全結合型スパイキングニューラルネットワークを採用し、符号化されたスパイクトレインを処理して予測を行う。
• クロック駆動型の推論メカニズムを用いてイベント駆動処理をシミュレートし、神経形状ハードウェアにおけるエネルギー効率の良い計算を実現する。
• 時間コードを適用して、ノード特徴量を時間的なスパイク列として表現することで、SNNが非ユークリッド的グラフデータを処理可能にする。
• スパコンポーネント領域をグラフノードとして扱い、同様のスパイク符号化と処理を適用することで、画像グラフ分類にフレームワークを拡張する。
• ユーザ・アイテム相互作用をグラフとしてモデル化し、低RMSEを達成するスパイクベースの行列補完を用いることで、レコメンデーションシステムにモデルを適応させる。

実験結果

リサーチクエスチョン

• RQ1 SpikingGCNは、引用ネットワークにおけるノード分類の精度を競争力ある水準に保ちながら、低エネルギー消費を維持できるか？
• RQ2 グラフ畳み込みに基づくスパイク符号化は、SNNにとっての構造的および特徴的情報をどれほど効果的に保持できるか？
• RQ3 SpikingGCNは、画像グラフ分類やレコメンデーションシステムにおける行列補完といったノード分類以外のタスクにも一般化できるか？
• RQ4 神経形状ハードウェアに展開した場合、SpikingGCNのエネルギー効率は従来のディープラーニングモデルと比べてどの程度優れているか？
• RQ5 多様なグラフタスクにおいて、エンド・トウ・エンドのSNNフレームワークは、既存のSNNおよびANNベースラインを上回る精度とエネルギー効率を達成できるか？

主な発見

• SpikingGCNはMNISTグリッド画像分類タスクで99.35％のテスト精度を達成し、他のSNNベースラインを上回り、最先端のANNモデルと同等の性能を示した。
• MNISTスパコンポーネントデータセットでは、10回の実験平均で94.50％の精度を達成し、グラフ構造の画像データへの強い一般化能力を示した。
• MovieLens 100Kを用いたレコメンデーションシステムでは、RMSEが0.924を達成し、大多数のベースラインを上回り、最先端の0.910に近い性能を示した。
• 従来のGCNsと比較して、SpikingGCNはエネルギー消費を顕著に削減しており、Intel Loihiなどの神経形状ハードウェアでも顕著な利点を示した。
• 限られた学習サンプル下でも安定した性能を示し、少ないデータでも強力な一般化能力を有することが示された。
• フレームワークは拡張可能で、ノード分類、画像グラフ分類、共同フィルタリングなど、さまざまなグラフ学習タスクと互換性がある。