[논문 리뷰] Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck

Nicolas Skatchkovsky, Osvaldo Simeone외 1명|arXiv (Cornell University)|2021. 06. 02.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 스파iking 신경망(SNN) 인코더와 인공신경망(ANN) 디코더를 갖춘 하이브리드 변분 오토인코더를 제안하며, 방향 정보 블로킹 기준을 최적화하는 새로운 엔드 투 엔드 서rogate 기울기 방법을 통해 훈련한다. 이 방법은 디코딩에 대한 사전 제약 없이 최적의 스파이크 시간 인코딩을 학습할 수 있게 하여, 이미지와 같은 자연 신호로의 스파이크 입력 자연화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One of the key challenges in training Spiking Neural Networks (SNNs) is that target outputs typically come in the form of natural signals, such as labels for classification or images for generative models, and need to be encoded into spikes. This is done by handcrafting target spiking signals, which in turn implicitly fixes the mechanisms used to decode spikes into natural signals, e.g., rate decoding. The arbitrary choice of target signals and decoding rule generally impairs the capacity of the SNN to encode and process information in the timing of spikes. To address this problem, this work introduces a hybrid variational autoencoder architecture, consisting of an encoding SNN and a decoding Artificial Neural Network (ANN). The role of the decoding ANN is to learn how to best convert the spiking signals output by the SNN into the target natural signal. A novel end-to-end learning rule is introduced that optimizes a directed information bottleneck training criterion via surrogate gradients. We demonstrate the applicability of the technique in an experimental settings on various tasks, including real-life datasets.

연구 동기 및 목표

• 스파iking 신경망(SNN)에서 정보 인코딩을 위한 스파이크 타이밍 사용을 제한하는 수작업 기반 디코딩 규칙의 한계를 해결한다.
• 고정된 디코딩 전략 문제를 해결하기 위해 SNN이 학습 가능한 디코더와 함께 공동 훈련을 통해 최적의 스파이크 표현을 학습할 수 있도록 한다.
• SNN 출력을 자연 신호로 복원하는 데 학습 가능한 디코더를 갖춘 하이브리드 SNN-ANN 오토인코더 프레임워크를 개발한다. 이는 엔드 투 엔드 최적화를 가능하게 한다.
• SNN의 인과적, 시간 연속적 스파이크 동역학에 맞게 조정된 방향 정보 블로킹 기준을 제안하며, 기존의 상호정보량을 대체한다.
• MNIST-DVS와 같은 실제 뉴모르픽 데이터셋을 활용하여 이미지 재구성 및 분류에 대한 방법의 효과성을 입증한다.

제안 방법

• 스파이크 입력을 처리하는 SNN 인코더와 자연 신호를 재구성하는 ANN 디코더를 갖춘 하이브리드 변분 오토인코더를 제안한다.
• 인과적, 시간 변화하는 스파이크 신호를 다룰 수 있도록 일반화된 방향 정보 블로킹(DIB) 기준에 기반한 새로운 엔드 투 엔드 학습 규칙을 도입한다.
• 스파이크 동작이 비미분 가능하더라도, 서rogate 기울기를 사용해 SNN를 통해 역전파를 수행함으로써 스파이크 뉴런의 훈련을 가능하게 한다.
• DIB 목표의 변분 하한을 최적화하여 스파이크 표현에서의 재구성 정확도와 불필요한 정보의 압축 사이의 균형을 이룬다.
• SNN의 개별 뉴런 학습 신호와 ANN의 전역 피드백을 활용해 SNN와 ANN를 동시에 훈련하는 공동 훈련 기반 구조를 적용한다.
• 기준 신호를 원본 자연 목표(예: 이미지)로 정의하고, SNN 스파이크 출력에서 이를 재구성하도록 훈련한다.

실험 결과

연구 질문

• RQ1 하이브리드 SNN-ANN 오토인코더는 디코딩 규칙에 대한 사전 가정 없이, 자연 신호로 최적의 디코딩이 가능한 스파이크 트레인으로 입력 신호를 인코딩할 수 있는가?
• RQ2 기존의 수작업 기반 디코딩 전략(예: 레이트 또는 첫 번째 스파이크 디코딩)과 비교해 제안된 방향 정보 블로킹(VDIB) 방법은 스파이크 표현 학습을 어떻게 향상시키는가?
• RQ3 SNN은 자연 신호의 정확한 재구성과 후속 분류를 지원하는 정보가 풍부한 스파이크 시간 패턴을 어느 정도 학습할 수 있는가?
• RQ4 인코딩 및 디코딩 윈도우 크기와 같은 하이퍼파rameter가 VDIB 프레임워크 성능에 미치는 영향은 어떠한가?
• RQ5 DVS 카메라와 같은 실제 뉴모르픽 센서에서 온 스파이크 입력을 효과적으로 자연 신호로 자연화할 수 있는가?

주요 결과

• MNIST에서 시간-첫 번째 스파이크 인코딩과 VDIB 디코딩을 사용할 경우, 분류 정확도가 92.82%에 도달하여, MLP 디코더를 사용할 때 레이트 디코딩(60.50%)과 첫 번째 스파이크 디코딩(86.43%)보다 유의미하게 높다.
• T-SNE 시각화 결과 VDIB는 잘 분리된, 클래스에 특화된 스파이크 표현을 생성하는 반면, 레이트 디코딩은 겹치고 구분이 어려운 클러스터를 보인다.
• MNIST-DVS 데이터셋에서 VDIB는 스파이크 입력으로부터 자연 이미지를 효과적으로 재구성하며, 시각적 품질이 기준값과 유사함을 보여, 효과적인 자연화를 입증한다.
• 이 방법은 사전 정의된 디코딩 메커니즘에 제약을 받지 않는 정보가 풍부한 시간적 코딩 패턴을 SNN이 학습할 수 있도록 하여 정보 용량을 향상시킨다.
• 제거 실험 결과 τₑ와 τd의 윈도우 크기 선택이 성능에 상당한 영향을 미치며, 최적의 값이 재구성 및 분류 성능을 향상시킴을 확인한다.
• 서rogate 기울기를 통한 엔드 투 엔드 훈련을 갖춘 하이브리드 SNN-ANN 프레임워크는 스파이크 뉴런을 통해 효과적인 역전파를 가능하게 하여 비미분 가능성 장벽을 극복한다.