[논문 리뷰] A Graph is Worth 1-bit Spikes: When Graph Contrastive Learning Meets Spiking Neural Networks

Jintang Li, Huizhe Zhang외 6명|arXiv (Cornell University)|2023. 05. 30.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 스파iking 신경망(SNNs)을 활용하여 그래프의 압축된 1비트 이진 표현을 학습하는 그래프 대비 학습 프레임워크인 SpikeGCL을 제안한다. 이는 전체 정밀도 모델과 유사한 성능을 달성하면서 메모리 사용량을 약 32배 감소시키고 에너지 소비량을 최대 약 7,000배 줄이는 데 성공한다. 이 방법은 기울기 소실 문제를 완화하기 위해 블록 단위 학습 전략을 사용하며, 자원이 제한된 장치에서 효율적이고 생물학적으로 타당한 추론을 가능하게 한다.

ABSTRACT

While contrastive self-supervised learning has become the de-facto learning paradigm for graph neural networks, the pursuit of higher task accuracy requires a larger hidden dimensionality to learn informative and discriminative full-precision representations, raising concerns about computation, memory footprint, and energy consumption burden (largely overlooked) for real-world applications. This work explores a promising direction for graph contrastive learning (GCL) with spiking neural networks (SNNs), which leverage sparse and binary characteristics to learn more biologically plausible and compact representations. We propose SpikeGCL, a novel GCL framework to learn binarized 1-bit representations for graphs, making balanced trade-offs between efficiency and performance. We provide theoretical guarantees to demonstrate that SpikeGCL has comparable expressiveness with its full-precision counterparts. Experimental results demonstrate that, with nearly 32x representation storage compression, SpikeGCL is either comparable to or outperforms many fancy state-of-the-art supervised and self-supervised methods across several graph benchmarks.

연구 동기 및 목표

• 대규모 및 엣지 기반 응용 분야에서 전체 정밀도 그래프 대비 학습(GCL)의 증가하는 계산, 메모리, 에너지 비용을 해결한다.
• 스파iking 신경망(SNNs)이 그래프 대비 학습에서 희소하고 이진적이며 에너지 효율적인 표현을 가능하게 할 잠재력을 탐색한다.
• 1비트 스파이크 기반 표현을 사용하면서도 표현 능력을 유지하는 이론적으로 탄탄한 프레임워크를 개발한다.
• 새로운 블록 단위 학습 파라다임을 통해 깊은 SNN에서의 기울기 소실 문제를 해결한다.
• 이진화된 SNN 기반 GCL이 다양한 그래프 벤치마크에서 최신 기술 수준의 성능을 달성하거나 초월할 수 있음을 입증한다.

제안 방법

• 전체 정밀도 노드 표현을 대체하기 위해 스파이킹 뉴런이 생성하는 1비트 이진 스파이크로 구성된 GCL 프레임워크인 SpikeGCL을 제안한다.
• 동일한 그래프의 양면(긍정 및 부정)을 비교하는 대비 학습 목적함수를 사용하며, 양면은 데이터 증강을 통해 생성된다.
• 깊은 SNN에서의 학습 안정성을 향상시키기 위해 백프로파게이션을 한 번에 한 블록씩 제한하는 블록 단위 학습 전략을 구현한다.
• IF, LIF, PLIF와 같은 스파이킹 뉴런을 사용하며, 후자는 향상된 생물학적 타당성과 성능을 위한 학습 가능한 누설 항목을 허용한다.
• 스파이크 활동과 출력 희소성 제어를 위한 임계값 파rameter $V_{\text{th}}$를 도입하여 정보 유지와 효율성 간의 트레이드오프를 가능하게 한다.
• 고정된 시간 창 $T$를 사용한 시간 인코딩을 통해 연속적인 활성화를 스파이크 트레인으로 변환하여 SNN이 그래프 데이터를 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망이 그래프 대비 학습과 효과적으로 조합되어 압축된 이진 표현을 생성할 수 있는가?
• RQ2 SNN에서 1비트 스파이크 기반 표현이 그래프 표현 학습에 충분한 표현 능력을 유지하는가?
• RQ3 깊은 SNN에서 엔드 투 엔드 학습 중 기울기 소실 문제를 어떻게 완화할 수 있는가?
• RQ4 임계값 $V_{\text{th}}$, $T$, GNN 아키텍처와 같은 초모수의 영향은 성능과 희소성에 어떤가?
• RQ5 SpikeGCL은 메모리 사용량과 에너지 소비량을 극적으로 줄이면서도 전체 정밀도 GCL 모델과 유사한 성능을 얼마나 달성할 수 있는가?

주요 결과

• SpikeGCL은 CS(92.8% 정확도)와 Physics(95.2% 정확도)를 포함한 6개의 벤치마크 데이터셋에서 상태 최신 수준 또는 경쟁력 있는 성능을 달성하며, 오직 1비트 표현만을 사용한다.
• 이 프레임워크는 전체 정밀도 모델 대비 약 32배 메모리 사용량을 줄이고, 에너지 소비량을 최대 7,000배까지 감소시킨다.
• 블록 단위 학습 전략을 사용함으로써 깊은 SNN에서 학습 안정성과 성능이 크게 향상되어 기울기 소실 문제를 해결한다.
• PLIF 뉴런은 학습 가능한 누설 항목 덕분에 IF 및 LIF보다 우수한 성능을 보이며, 이는 희소성과 표현 품질을 향상시킨다.
• Dense한 데이터셋인 Computers와 Photo에서는 $V_{\text{th}}$에 민감하며, 최적의 임계값이 희소성과 정보 유지 간의 균형을 맞춘다.
• GNN 인코더의 선택은 성능에 영향을 미치며, GCN이 모든 데이터셋에서 가장 우수한 결과를 내지만, GAT 및 SAGE와 같은 다른 아키텍처도 타당한 대안이 된다.