[논문 리뷰] Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient

Yuhang Li, Youngeun Kim외 2명|arXiv (Cornell University)|2023. 04. 25.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

본 논문은 Centered Kernel Alignment (CKA)를 사용해 surrogate-gradient BPTT로 학습된 SNN의 표현과 ANN의 표현을 비교하고, 전반적으로 높은 유사성을 발견하며 고유한 시간 표현은 제한적이고 잔차 연결이 ANN 유사한 표현을 안정화한다.

ABSTRACT

Spiking Neural Networks (SNNs) are recognized as the candidate for the next-generation neural networks due to their bio-plausibility and energy efficiency. Recently, researchers have demonstrated that SNNs are able to achieve nearly state-of-the-art performance in image recognition tasks using surrogate gradient training. However, some essential questions exist pertaining to SNNs that are little studied: Do SNNs trained with surrogate gradient learn different representations from traditional Artificial Neural Networks (ANNs)? Does the time dimension in SNNs provide unique representation power? In this paper, we aim to answer these questions by conducting a representation similarity analysis between SNNs and ANNs using Centered Kernel Alignment (CKA). We start by analyzing the spatial dimension of the networks, including both the width and the depth. Furthermore, our analysis of residual connections shows that SNNs learn a periodic pattern, which rectifies the representations in SNNs to be ANN-like. We additionally investigate the effect of the time dimension on SNN representation, finding that deeper layers encourage more dynamics along the time dimension. We also investigate the impact of input data such as event-stream data and adversarial attacks. Our work uncovers a host of new findings of representations in SNNs. We hope this work will inspire future research to fully comprehend the representation power of SNNs. Code is released at https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA.

연구 동기 및 목표

• surrogate gradient로 학습된 SNN이 ANNs와 차별화된 표현을 학습하는지 평가한다.
• 너비(width), 깊이(depth), 그리고 시간 차원이 ANN에 비해 SNN 표현에 어떤 영향을 미치는지 분석한다.
• 잔차 연결이 표현 유사성과 모델 성능에 미치는 영향을 평가한다.
• 입력 데이터 유형(static vs event-based)과 적대적 공격이 표현에 미치는 영향을 조사한다.

제안 방법

• CIFAR-10/ CIFAR-100에서 ResNet 및 VGG-스타일 네트워크를 SNN 및 ANN 형태로 직접 학습한다.
• 모든 계층에서 SNN 및 ANN 표현 간의 계층별 CKA를 계산한다.
• 유사성에 대한 공간적(width/depth) 및 시간적(time steps) 효과를 분석한다.
• 표현 정렬에 미치는 잔차 연결의 효과를 연구하기 위해 잔차 연결에 대한 소거(ablations)를 수행한다.
• 이벤트 기반 데이터와 적대적 공격 하에서의 표현을 평가한다.

실험 결과

연구 질문

• RQ1 surrogate-gradient BPTT로 학습된 SNN이 ANNs와 차별화된 표현을 학습하는가?
• RQ2 너비와 깊이가 ANN-SNN 표현 유사성에 어떤 영향을 미치는가?
• RQ3 SNN의 시간 차원이 고유한 표현력을 제공하는가?
• RQ4 잔차 연결이 표현 유사성 및 성능에 어떤 영향을 미치는가?
• RQ5 다른 데이터 유형과 적대적 교란이 SNN 표현에 어떤 영향을 미치는가?

주요 결과

• 대리 그래디언트 학습으로 학습된 SNN은 여러 계층에 걸쳐 ANN과 높은 표현 유사성을 보인다.
• 잔차 연결은 SNN 표현을 더 ANN에 가까운 형태로 규칙화하고 성능을 향상시키는 데 도움을 준다.
• 시간 차원은 새로운 표현력을 거의 기여하지 않으며 얕은 계층에서 정적 시간 동작을 보인다.
• 더 넓은 네트워크는 ANN-SNN 유사성을 증가시키는 경향이 있어 성능 격차를 줄인다.
• 이벤트 기반 데이터셋은 ANN-SNN 유사성 패턴에 서로 다른 경향을 보일 수 있어 SNN 고유 최적화의 여지가 있음을 시사한다.
• 공격 하에서의 특성 공간 유사성이 더 높게 나타나 SNN이 ANNs에 비해 적대적 공격에 대한 강건성이 향상된다.