[論文レビュー] A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks

Jintang Li, Huizhe Zhang+6 more|arXiv (Cornell University)|May 30, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、スパikingニューラルネットワーク（SNNs）を活用してグラフのコン pact 1ビットバイナリ表現を学習するグラフ対照的学習フレームワーク、SpikeGCLを提案する。この手法は、メモリ使用量を約32倍削減し、エネルギー消費量を最大で約7,000倍まで低減しながら、フルプレシジョンモデルと同等の性能を達成する。本手法は、勾配消失を軽減するためのブロックワイドトレーニング戦略を採用しており、リソース制約のあるデバイス上でも効率的かつ生物学的に妥当な推論を可能にする。

ABSTRACT

While contrastive self-supervised learning has become the de-facto learning paradigm for graph neural networks, the pursuit of higher task accuracy requires a larger hidden dimensionality to learn informative and discriminative full-precision representations, raising concerns about computation, memory footprint, and energy consumption burden (largely overlooked) for real-world applications. This work explores a promising direction for graph contrastive learning (GCL) with spiking neural networks (SNNs), which leverage sparse and binary characteristics to learn more biologically plausible and compact representations. We propose SpikeGCL, a novel GCL framework to learn binarized 1-bit representations for graphs, making balanced trade-offs between efficiency and performance. We provide theoretical guarantees to demonstrate that SpikeGCL has comparable expressiveness with its full-precision counterparts. Experimental results demonstrate that, with nearly 32x representation storage compression, SpikeGCL is either comparable to or outperforms many fancy state-of-the-art supervised and self-supervised methods across several graph benchmarks.

研究の動機と目的

• 大規模かつエッジデプロイ可能な応用分野におけるフルプレシジョングラフ対照的学習（GCL）の増大する計算コスト、メモリ使用量、エネルギー消費を低減すること。
• スパキングニューラルネットワーク（SNNs）がグラフ対照的学習に与える可能性を検討し、スパースでバイナリかつエネルギー効率の良い表現を実現すること。
• 1ビットスパイクベースの表現を用いながらも表現力の維持を図る理論的裏付けのあるフレームワークの構築。
• 深層SNNにおける勾配消失問題を解決するための新しいブロックワイドトレーニングパラダイムの導入。
• バイナリ化されたSNNベースのGCLが、多様なグラフベンチマークで最先端の性能を達成または上回ることの実証。

提案手法

• フルプレシジョンのノード表現を、スパキングニューロンが生成する1ビットバイナリスパイクに置き換えるGCLフレームワーク、SpikeGCLを提案する。
• 同じグラフのポジティブおよびネガティブなビューを比較する対照的学習目的関数を用い、ビューはデータオーグメンテーションによって生成される。
• バックプロパゲーションを一度に1つのブロックに限定することで、深層SNNにおける学習の安定性を高めるブロックワイドトレーニング戦略を実装する。
• IF、LIF、PLIFなどのスパイクニューロンを採用し、後者は学習可能なリーク項を備えることで生物学的妥当性と性能を向上させる。
• スパイク活動と出力スパarsityを制御するためのしきい値パラメータ $V_{\text{th}}$ を導入し、情報保持と効率性のトレードオフを可能にする。
• 固定時間ウィンドウ $T$ を用いた時間的符号化により、連続的な活性をスパイクトレインに変換し、SNNがグラフデータを処理できるようにする。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークをグラフ対照的学習と効果的に組み合わせ、コン pact でバイナリな表現を生成できるか？
• RQ2 SNNにおける1ビットスパイクベースの表現が、グラフ表現学習に十分な表現力を保持できるか？
• RQ3 深層SNNにおけるエンドツーエンド学習において、勾配消失問題をどのように軽減できるか？
• RQ4 $V_{\text{th}}$、$T$、GNNアーキテクチャなどのハイパーパramータが性能とスパarsityに与える影響は何か？
• RQ5 SpikeGCLは、フルプレシジョンGCLモデルと同等の性能を達成しながら、メモリ使用量とエネルギー消費量を著しく削減できるか？

主な発見

• SpikeGCLは、CS（92.8％の正確度）やPhysics（95.2％の正確度）を含む6つのベンチマークデータセットで、1ビット表現のみを用いて最先端または競争力のある性能を達成する。
• フレームワークは、フルプレシジョンモデルと比較して、約32倍のメモリ使用量削減と最大7,000倍のエネルギー消費削減を実現する。
• ブロックワイドトレーニング戦略を用いることで、深層SNNにおける学習の安定性と性能が顕著に向上し、勾配消失問題が効果的に軽減される。
• PLIFニューロンは、学習可能なリーク項のおかげでIFおよびLIFを上回る性能を示し、スパarsityと表現品質の両方を向上させる。
• コンピュータやフォトのような密なデータセットでは、$V_{\text{th}}$ に感度が高く、最適なしきい値がスパarsityと情報保持のバランスをとる。
• GNNエンコーダーの選択が性能に影響を及ぼすが、GCNが全データセットで最高の結果を示す一方、GAT や SAGE も有効な代替手段として機能する。