[논문 리뷰] Spiking Graph Convolutional Networks

Zulun Zhu, Jiaying Peng외 4명|arXiv (Cornell University)|2022. 05. 05.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 그래프 데이터를 스파iking 신경망으로 직접 인코딩하는 엔드 투 엔드 스파이크 그래프 컨볼루션 네트워크인 SpikingGCN을 제안한다. 이는 생물학적으로 타당하고 에너지 효율적인 추론을 가능하게 하며, 인용 네트워크, 이미지 그래프, 추천 시스템에서 경쟁력 있는 성능을 달성하면서도 에너지 소비를 크게 줄인다. 이는 뉴모르픽 하드웨어에의 구현 가능성을 입증한다.

ABSTRACT

Graph Convolutional Networks (GCNs) achieve an impressive performance due to the remarkable representation ability in learning the graph information. However, GCNs, when implemented on a deep network, require expensive computation power, making them difficult to be deployed on battery-powered devices. In contrast, Spiking Neural Networks (SNNs), which perform a bio-fidelity inference process, offer an energy-efficient neural architecture. In this work, we propose SpikingGCN, an end-to-end framework that aims to integrate the embedding of GCNs with the biofidelity characteristics of SNNs. The original graph data are encoded into spike trains based on the incorporation of graph convolution. We further model biological information processing by utilizing a fully connected layer combined with neuron nodes. In a wide range of scenarios (e.g. citation networks, image graph classification, and recommender systems), our experimental results show that the proposed method could gain competitive performance against state-of-the-art approaches. Furthermore, we show that SpikingGCN on a neuromorphic chip can bring a clear advantage of energy efficiency into graph data analysis, which demonstrates its great potential to construct environment-friendly machine learning models.

연구 동기 및 목표

• 자원 제약이 있는 환경에서 기존 그래프 컨볼루션 네트워크(GCNs)의 높은 계산 및 에너지 비용을 해결하기 위해.
• 그래프 구조 데이터를 위한 GCNs의 표현 능력과 스파이크 신경망(SNNs)의 에너지 효율성을 통합하기 위해.
• 사전 훈련이나 ANN에서의 변환 없이도 그래프에서의 노드 분류를 위한 직접적인 엔드 투 엔드 SNN 프레임워크를 개발하기 위해.
• 이질적인 그래프 기반 작업, 예를 들어 이미지 그래프 분류와 추천 시스템에서의 행렬 완성에 대해 SNN의 일반화 능력과 에너지 효율성을 입증하기 위해.
• 생물학적으로 타당한 스파이크 인코딩과 처리를 통해 뉴모르픽 하드웨어에 실용적으로 구현 가능한 그래프 학습 모델을 가능하게 하기 위해.

제안 방법

• 노드 특징을 그래프 컨볼루션 연산을 사용하여 스파이크 트레인으로 변환하는 스파이크 인코더를 제안하여 구조적 정보를 유지한다.
• 스파이크를 처리하고 예측을 내기 위해 누설 적분-화염(LIF) 뉴런을 사용하는 완전 연결 스파이크 신경망을 적용한다.
• 시계 기반 추론 메커니즘을 사용하여 이벤트 기반 처리를 시뮬레이션하고, 뉴모르픽 하드웨어에서의 에너지 효율적 계산을 가능하게 한다.
• 시간 코드를 적용하여 노드 특징을 시간에 따른 스파이크 시퀀스로 표현함으로써 SNN이 비유클리드 그래프 데이터를 처리할 수 있도록 한다.
• 스퍼피셀 영역을 그래프 노드로 간주하고 유사한 스파이크 인코딩 및 처리를 적용함으로써 이미지 그래프 분류에 프레임워크를 확장한다.
• 사용자-아이템 상호작용을 그래프로 모델링하고, 낮은 RMSE를 갖는 스파이크 기반 행렬 완성 기법을 사용함으로써 추천 시스템에 모델을 적응시킨다.

실험 결과

연구 질문

• RQ1 SpikingGCN는 낮은 에너지 소비를 유지하면서도 인용 네트워크에서 경쟁력 있는 노드 분류 정확도를 달성할 수 있는가?
• RQ2 그래프 컨볼루션 기반 스파이크 인코딩이 SNN에서 구조적 및 특징 정보를 얼마나 잘 유지하는가?
• RQ3 SpikingGCN는 이미지 그래프 분류나 추천 시스템에서의 행렬 완성과 같은 노드 분류 외 작업으로 일반화될 수 있는가?
• RQ4 뉴모르픽 하드웨어에 구현되었을 때 SpikingGCN의 에너지 효율성은 기존의 딥러닝 모델 대비 어떻게 되는가?
• RQ5 다양한 그래프 작업에서 정확도와 에너지 효율성 측면에서 기존의 SNN 및 ANN 기준 모델보다 엔드 투 엔드 SNN 프레임워크가 뛰어난 성능을 보일 수 있는가?

주요 결과

• SpikingGCN는 MNIST 그리드 이미지 분류 작업에서 99.35%의 테스트 정확도를 달성하여 다른 SNN 기준 모델을 압도하고 최고 성능을 보이는 ANN 모델과도 맞먹는다.
• MNIST 슈퍼피셀 데이터셋에서 SpikingGCN는 10회 런에 걸쳐 평균 94.50%의 정확도를 기록하여 그래프 구조의 이미지 데이터에 대한 강력한 일반화 능력을 입증한다.
• MovieLens 100K를 사용한 추천 시스템에서 SpikingGCN는 RMSE 0.924를 기록하여 대부분의 기준 모델을 능가하고 최고 성능(SOTA)인 0.910에 근접한다.
• 기존의 GCNs에 비해 SpikingGCN는 에너지 소비를 크게 줄였으며, Intel Loihi와 같은 뉴모르픽 하드웨어에서 명확한 이점이 있다.
• 모델은 데이터가 적은 환경에서도 견고한 성능을 보이며, 제한된 훈련 샘플에서도 강력한 일반화 능력을 보여준다.
• 이 프레임워크는 노드 분류, 이미지 그래프 분류, 협업 필터링 등 다양한 그래프 학습 작업에 확장 가능하고 호환성이 뛰어나다.