[논문 리뷰] HYPER-SNN: Towards Energy-efficient Quantized Deep Spiking Neural Networks for Hyperspectral Image Classification

Gourav Datta, Souvik Kundu외 2명|arXiv (Cornell University)|2021. 07. 26.

Remote-Sensing Image Classification참고 문헌 61인용 수 5

한 줄 요약

이 논문은 아날로그 HSI 픽셀 값에 대해 스파iking 트레인으로의 변환 없이 직접 처리할 수 있는 양자화된 스파iking 신경망(HYPER-SNN)을 제안한다. 양자화 인식 훈련을 통해 세 가지 데이터셋에서 전기정밀도 및 6비트 양자화된 CNN보다 각각 560.6배와 44.8배의 낮은 계산 에너지를 기록하며 최신 기술(SOTA) 정확도를 달성한다.

ABSTRACT

Hyper spectral images (HSI) provide rich spectral and spatial information across a series of contiguous spectral bands. However, the accurate processing of the spectral and spatial correlation between the bands requires the use of energy-expensive 3-D Convolutional Neural Networks (CNNs). To address this challenge, we propose the use of Spiking Neural Networks (SNNs) that are generated from iso-architecture CNNs and trained with quantization-aware gradient descent to optimize their weights, membrane leak, and firing thresholds. During both training and inference, the analog pixel values of a HSI are directly applied to the input layer of the SNN without the need to convert to a spike-train. The reduced latency of our training technique combined with high activation sparsity yields significant improvements in computational efficiency. We evaluate our proposal using three HSI datasets on a 3-D and a 3-D/2-D hybrid convolutional architecture. We achieve overall accuracy, average accuracy, and kappa coefficient of 98.68%, 98.34%, and 98.20% respectively with 5 time steps (inference latency) and 6-bit weight quantization on the Indian Pines dataset. In particular, our models achieved accuracies similar to state-of-the-art (SOTA) with 560.6 and 44.8 times less compute energy on average over three HSI datasets than an iso-architecture full-precision and 6-bit quantized CNN, respectively.

연구 동기 및 목표

• 하이퍼스pek트럴 이미지(HSI) 분류에서 3D CNN의 높은 에너지 비용, 특히 엣지 장치에의 배포를 고려하여 해결한다.
• 수백 개의 스펙트럼 대역을 가진 고차원 HSI 데이터를 처리하는 데 있어 기존 CNN의 계산 비효율성을 해결한다.
• 전기정밀도 및 양자화된 CNN에 대한 저전력, 에너지 효율적인 대안을 스파iking 신경망(SNNs)을 통해 개발한다.
• 스파iking 트레인 인코딩 없이 SNN 내에서 아날로그 HSI 픽셀 값을 직접 처리하여 지연 시간과 계산 오버헤드를 줄인다.
• 양자화 인식 훈련과 아키텍처 최적화를 통해 최소한의 계산 에너지로 최신 기술 정확도를 달성한다.

제안 방법

• 가중치, 맴브레인 누설 및 발화 임계치를 최적화하기 위해 양자화 인식 경사 하강법을 사용해 SNN을 엔드 투 엔드로 훈련한다.
• 스파이크 트레인으로의 변환 없이 아날로그 HSI 픽셀 값을 SNN 입력층에 직접 공급하여 입력의 정밀도를 유지하고 인코딩 지연을 줄인다.
• 스펙트럼-스페이셜 특징을 동시에 추출하기 위해 하이브리드 3D/2D 컨볼루션 아키텍처를 사용하며, 3D 컨볼루션은 스펙트럼 상관관계를, 2D 컨볼루션은 공간적 맥락을 처리한다.
• 정확도를 유지하면서 정밀도를 낮추기 위해 6비트 가중치 양자화를 적용하며, 저정밀 산술 연산의 에너지 효율성을 활용한다.
• 활성화 희소성과 저정밀 누적(AC) 연산을 활용해 계산 에너지를 최소화한다. AC 연산은 다항곱합(MAC) 연산보다 훨씬 저렴하기 때문이다.
• SNN이 정확도 측면에서 부모 CNN과 동등한 성능을 내면서도 에너지 소비를 크게 줄일 수 있도록 하는 훈련 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 양자화 인식 경사 하강법으로 훈련된 SNN은 전기정밀도 CNN과 비교해 하이퍼스펙트럴 이미지 분류에서 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ2 SNN에서 아날로그 입력을 직접 처리할 경우 HSI 분류의 지연 시간과 계산 비용은 어느 정도 감소하는가?
• RQ3 양자화된 SNN의 에너지 효율성은 하이퍼스펙트럴 이미지 분류 과제에서 전기정밀도 및 6비트 양자화된 CNN과 비교해 어떻게 되는가?
• RQ4 하이브리드 3D/2D SNN 아키텍처는 HSI 데이터의 스펙트럼-스페이셜 상관관계를 효과적으로 포착하면서도 저에너지 소비를 유지할 수 있는가?
• RQ5 활성화 희소성과 저정밀 산술 연산은 HSI 분류에서 SNN의 전체 계산 에너지에 어떤 영향을 미치는가?

주요 결과

• HYPER-SNN은 오직 5회의 시간 스텝과 6비트 가중치 양자화를 사용하여 Indian Pines 데이터셋에서 총 정확도 98.68%, 평균 정확도 98.34%, 캬파 계수 98.20%를 달성한다.
• 제안된 SNN 모델들은 세 개의 HSI 데이터셋 평균에서, 동일 아키텍처의 전기정밀도 CNN보다 약 560.6배, 6비트 양자화된 CNN보다 44.8배 낮은 계산 에너지를 소비한다.
• 높은 활성화 희소성과 효율적인 누적(AC) 연산 덕분에 FLOPs가 크게 감소하여 이러한 결과를 달성한다. AC 연산은 다항곱합(MAC) 연산보다 훨씬 저렴하기 때문이다.
• 에너지 절감의 주요 원인은 저정밀 산술(6비트 가중치), 높은 희소성, 그리고 희소 스파이크 활동을 효율적으로 활용하는 SNN의 본질적 효율성의 조합이다.
• 훈련 프레임워크 덕분에 SNN은 정확도 측면에서 부모 CNN과 동등한 성능을 내면서도 에너지 소비를 크게 줄일 수 있어 배터리 구동 엣지 장치에의 배포에 적합하다.
• 가중치 비트 정밀도 감소를 통해 메모리 액세스 비용을 5.33배 줄였으며, PIM 가속기나 비버니시브 메모리 어레이와 같은 메모리 최적화 하드웨어 설계로 추가로 향상시킬 수 있다.