[논문 리뷰] DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks

Isha Garg, Sayeed Shafayet Chowdhury외 1명|arXiv (Cornell University)|2020. 10. 05.

Advanced Memory and Neural Computing참고 문헌 32인용 수 8

한 줄 요약

이 논문은 이산余弦변환(DCT)을 사용하여 픽셀 강도를 구조적이고 에너지 효율적인 방식으로 시간에 걸쳐 분포시키는 새로운 스파iking 신경망인 DCT-SNN을 제안한다. 이미지 블록을 DCT 계수로 인코딩하고, 누적된 기저 성분을 누설적분-화염 신경망에 순차적으로 입력함으로써 DCT-SNN은 CIFAR-10에서 단지 48개 타임스텝으로 추론 지연을 줄였으며, 정확도는 89.94%를 달성한다. 또한 고주파 성분 제거를 통해 지연과 정확도 사이의 이성적인 트레이드오프를 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs) offer a promising alternative to traditional deep learning frameworks, since they provide higher computational efficiency due to event-driven information processing. SNNs distribute the analog values of pixel intensities into binary spikes over time. However, the most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the additional temporal learning capability of SNNs effectively. Moreover, these SNNs suffer from high inference latency which is a major bottleneck to their deployment. To overcome this, we propose a scalable time-based encoding scheme that utilizes the Discrete Cosine Transform (DCT) to reduce the number of timesteps required for inference. DCT decomposes an image into a weighted sum of sinusoidal basis images. At each time step, the Hadamard product of the DCT coefficients and a single frequency base, taken in order, is given to an accumulator that generates spikes upon crossing a threshold. We use the proposed scheme to learn DCT-SNN, a low-latency deep SNN with leaky-integrate-and-fire neurons, trained using surrogate gradient descent based backpropagation. We achieve top-1 accuracy of 89.94%, 68.3% and 52.43% on CIFAR-10, CIFAR-100 and TinyImageNet, respectively using VGG architectures. Notably, DCT-SNN performs inference with 2-14X reduced latency compared to other state-of-the-art SNNs, while achieving comparable accuracy to their standard deep learning counterparts. The dimension of the transform allows us to control the number of timesteps required for inference. Additionally, we can trade-off accuracy with latency in a principled manner by dropping the highest frequency components during inference.

연구 동기 및 목표

• 스파iking 신경망(SNNs)의 높은 추론 지연 문제를 해결함으로써, 에너지 효율성은 유지하면서 실시간 배포를 가능하게 하기 위해.
• 기존의 포isson 기반 속도 인코딩 방식의 한계를 극복하기 위해, 모든 타임스텝을 동일하게 취급하고 시간적 학습 능력을 활용하지 못하는 문제를 해결하기 위해.
• 수학적으로 최적화된 변환을 사용하여 시공간 정보를 의미 있는 방식으로 타임스텝에 분포시키는 시간 기반 인코딩 체계를 개발하기 위해.
• 고주파 DCT 성분의 선택적 제거를 통해 지연과 정확도 사이의 제어 가능한 트레이드오프를 가능하게 하기 위해.
• 표준 ANN과 유사한 정확도를 달성하면서도 저지연 추론을 유지하는 깊은 SNN을 서지레이트 기울기 역전파를 통해 훈련시키기 위해.

제안 방법

• 입력 이미지는 4×4 공간 블록으로 나뉘며, 각 블록은 2차원 이산余弦변환(DCT)을 거쳐 주파수 도메인 계수를 생성한다.
• DCT 계수를 사용하여 역변환 DCT를 통해 기저 이미지를 생성하며, 각 기저는 에너지 기여도 순서로 정렬된 사인파 주파수 성분을 나타낸다.
• 각 타임스텝에서 현재 DCT 기저와 해당 계수의 하다르드 tích산(원소별 곱셈) 결과가 누적 신경망에 입력되며, 이는 시간에 걸쳐 신호를 통합한다.
• 스파이크 생성 신경망은 모든 기저 성분을 통해 타임스텝에 걸쳐 누적된 입력을 통합하며, 모든 16개 성분이 처리된 후에 전체 픽셀 강도가 재구성된다.
• 타임스텝 수는 DCT 블록 크기에 의해 제어되며, 4×4 블록은 16개 타임스텝을 생성하여 세밀한 지연 제어가 가능하다.
• 네트워크는 VGG 스타일 아키텍처에서 서지레이트 기울기 경량화를 통해 훈련되며, DCT 기반 인코딩 덕분에 효율적이고 저지연 추론이 가능하다.

실험 결과

연구 질문

• RQ1 DCT 기반 인코딩 체계는 분류 정확도를 희생시키지 않고 SNN의 추론 지연을 줄일 수 있는가?
• RQ2 정렬된 DCT 기저 성분을 통해 공간 정보를 분포시키면, 균일한 포isson 인코딩 대비 시간 활용도가 향상되는가?
• RQ3 DCT 변환을 통해 고주파 성분 제거를 통한 지연과 정확도 사이의 이성적인 트레이드오프를 가능하게 할 수 있는가?
• RQ4 CIFAR-10, CIFAR-100, 그리고 TinyImageNet에서 최신 SNN 기술과 비교해 DCT-SNN의 정확도 및 지연 성능은 어떠한가?
• RQ5 DCT 기반 인코딩은 VGG와 같은 더 깊은 아키텍처로 확장 가능하며, 경쟁 가능한 성능을 유지할 수 있는가?

주요 결과

• DCT-SNN은 VGG9 아키텍처를 사용하여 CIFAR-10에서 89.94%의 top-1 정확도를 달성하며, 최신 SNN 기술과 동등한 성능을 보이면서 추론 지연을 48개 타임스텝으로 줄였다.
• CIFAR-100에서 DCT-SNN은 단지 48개 타임스텝으로 68.3%의 top-1 정확도를 달성했으며, 이는 이전 최고 성능 방법 대비 14배 감소한 수치이다.
• TinyImageNet에서는 125개 타임스텝 내에 52.43%의 top-1 정확도를 달성했으며, 이는 이전 최고 성능 SNN 대비 2배 감소한 지연이다.
• 이 방법은 정확도와 지연 사이의 제어 가능한 트레이드오프를 가능하게 하며, 고주파 성분을 제거하면 지연이 줄어들지만 정확도 손실는 크지 않다.
• 에너지 효율성 분석 결과, 아키텍처에 따라 DCT-SNN은 ANN의 1.52–1.74배 더 높은 에너지 효율성을 확보하였다.
• 깊은 아키텍처에서 DCT 기반 인코딩은 포isson, 단계, 버스트, TTFS 인코딩 방식보다 지연과 정확도 측면에서 모두 뛰어난 성능을 보였다.