[논문 리뷰] Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning

Mingkun Xu, Yujie Wu외 4명|arXiv (Cornell University)|2021. 06. 30.

Advanced Memory and Neural Computing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 공간-시간 전개와 고유한 공간-시간 특성 정규화(STFN) 기법을 통해 그래프 컨볼루션과 어텐션 메커니즘을 스파iking 동역학과 통합하는 일반적인 스파이크 기반 프레임워크인 Graph SNNs를 제안한다. 이 방법은 스파iking 신경망을 그래프 구조 데이터에 직접 훈련시킬 수 있게 하여, 기존 GNNs 대비 최대 53.61배 낮은 계산 비용으로 노드 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 뉴로모르픽 하드웨어에서 뛰어난 효율성과 수렴 성능을 입증한다.

ABSTRACT

Biological spiking neurons with intrinsic dynamics underlie the powerful representation and learning capabilities of the brain for processing multimodal information in complex environments. Despite recent tremendous progress in spiking neural networks (SNNs) for handling Euclidean-space tasks, it still remains challenging to exploit SNNs in processing non-Euclidean-space data represented by graph data, mainly due to the lack of effective modeling framework and useful training techniques. Here we present a general spike-based modeling framework that enables the direct training of SNNs for graph learning. Through spatial-temporal unfolding for spiking data flows of node features, we incorporate graph convolution filters into spiking dynamics and formalize a synergistic learning paradigm. Considering the unique features of spike representation and spiking dynamics, we propose a spatial-temporal feature normalization (STFN) technique suitable for SNN to accelerate convergence. We instantiate our methods into two spiking graph models, including graph convolution SNNs and graph attention SNNs, and validate their performance on three node-classification benchmarks, including Cora, Citeseer, and Pubmed. Our model can achieve comparable performance with the state-of-the-art graph neural network (GNN) models with much lower computation costs, demonstrating great benefits for the execution on neuromorphic hardware and prompting neuromorphic applications in graphical scenarios.

연구 동기 및 목표

• 비유클리드 그래프 구조 데이터를 스파iking 신경망을 사용해 처리할 수 있는 일반적이고 훈련 가능한 스파이크 기반 프레임워크를 개발하는 것.
• 복잡한 스파이킹 동역학과 효과적인 정규화 기법의 부족으로 인해 스파이킹 신경망을 그래프에서 훈련하는 데 도전하는 문제를 해결하는 것.
• 스파이킹 동역학과 그래프 구조의 특성에 맞춰진 정규화 방법을 설계하여 그래프 SNNs의 수렴 속도를 가속화하고 성능을 향상시키는 것.
• 특히 저전력 뉴로모르픽 컴퓨팅 응용 분야에서 스파이킹 신경망이 그래프 학습 작업에 실현 가능하고 효율적인지 입증하는 것.

제안 방법

• 스파iking 동역학에서 반복 메시지 전달을 가능하게 하기 위해 시간과 공간에 걸쳐 이진 노드 특징의 공간-시간 전개를 수행한다.
• 통합된 반복적 메시지 전달 메커니즘을 통해 그래프 컨볼루션과 어텐션 필터를 스파이킹 동역학에 통합한다.
• 막막 전위를 특성 차원과 시간 차원 모두에서 정규화하는 공간-시간 특성 정규화(STFN) 기법을 제안하여 훈련을 안정화시킨다.
• 스パイ크 활동을 최종 예측으로 변환하기 위해 이중층 디코딩 메커니즘을 사용하며, 이벤트 기반 계산을 활용한다.
• 계산 비용을 줄이기 위해 이진 스파이크 통신을 활용하여 밀도 있는 곱셈 연산을 덧셈 연산으로 대체한다.
• 다양한 그래프 전파 연산, 특히 GCN 및 GAT 변종에 대해 전이 가능하도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션과 스파이킹 동역학을 통합하는 통합 프레임워크를 통해 스파이킹 신경망을 그래프 구조 데이터에서 효과적으로 훈련시킬 수 있는가?
• RQ2 스파이킹 동역학과 그래프 구조의 고유한 제약 조건을 고려해 정규화 기법을 어떻게 적응시킬 수 있는가? 이는 훈련 수렴을 향상시키는 데 기여하는가?
• RQ3 스파이킹 신경망은 그래프 작업에서 최신 기술 수준의 GNNs와 비슷한 성능을 달성할 수 있으며, 同시에 낮은 계산 비용과 에너지 소비를 유지할 수 있는가?
• RQ4 시간 창 길이가 반도체 학습 시나리오에서 그래프 SNNs의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 Graph SNNs는 Cora, Citeseer, PubMed 벤치마크에서 최신 기술 수준의 GNNs(GCN, GAT)와 유사한 노드 분류 정확도를 달성하며, 미미한 성능 격차만 존재한다.
• STFN 기법은 Citeseer에서 더 빠른 손실 감소와 더 안정적인 테스트 정확도 곡선을 통해 훈련 수렴 속도를 크게 가속화하고 오버피팅을 감소시킨다.
• 시간 창 길이가 단 5단계일 때도 모델이 강력한 성능을 유지함으로써, 효과적인 학습을 위해 장시간 통합이 반드시 필요한 것은 아님을 시사한다.
• 깊이 있는 아키텍처에서 GNNs 대비 최대 53.61배의 연산 비용 압축 비율을 달성한다. 주로 희소 스파이크 기반 계산과 이진 통신 덕분이다.
• 뉴런의 화염 빈도는 낮게 유지되며(평균 ≤20%, 대부분 <10%), 스파이크 기반 표현의 높은 희소성과 에너지 효율성을 확인한다.
• 프레임워크는 강력한 전이 가능성과 성능을 보이며, 그래프 컨볼루션 SNNs(GC-SNN)와 그래프 어텐션 SNNs(GA-SNN) 모두에 성공적으로 적용되어 일반화 능력을 입증한다.