[논문 리뷰] Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection

Seijoon Kim, Seongsik Park외 2명|arXiv (Cornell University)|2019. 03. 12.

Advanced Memory and Neural Computing참고 문헌 40인용 수 49

한 줄 요약

Spiking-YOLO는 채널별 정규화와 불균형 임계치를 가진 부호화된 뉴런을 도입하여 깊은 SNN 기반 물체 인식을 가능하게 하며, VOC와 COCO에서 Tiny YOLO에 근접한 정확도를 달성하고 에너지 사용량은 현저히 낮습니다.

ABSTRACT

Over the past decade, deep neural networks (DNNs) have demonstrated remarkable performance in a variety of applications. As we try to solve more advanced problems, increasing demands for computing and power resources has become inevitable. Spiking neural networks (SNNs) have attracted widespread interest as the third-generation of neural networks due to their event-driven and low-powered nature. SNNs, however, are difficult to train, mainly owing to their complex dynamics of neurons and non-differentiable spike operations. Furthermore, their applications have been limited to relatively simple tasks such as image classification. In this study, we investigate the performance degradation of SNNs in a more challenging regression problem (i.e., object detection). Through our in-depth analysis, we introduce two novel methods: channel-wise normalization and signed neuron with imbalanced threshold, both of which provide fast and accurate information transmission for deep SNNs. Consequently, we present a first spiked-based object detection model, called Spiking-YOLO. Our experiments show that Spiking-YOLO achieves remarkable results that are comparable (up to 98%) to those of Tiny YOLO on non-trivial datasets, PASCAL VOC and MS COCO. Furthermore, Spiking-YOLO on a neuromorphic chip consumes approximately 280 times less energy than Tiny YOLO and converges 2.3 to 4 times faster than previous SNN conversion methods.

연구 동기 및 목표

• 스파이킹 신경망(SNN)을 활용하여 이미지 분류를 넘어 물체 인식의 에너지 효율성을 촉진한다.
• 경계 상자 좌표와 같은 회귀 task에서의 깊은 SNN의 학습 및 정보 전달 문제를 다룬다.
• 깊은 SNN에서 정확한 스파이크 기반 물체 인식을 가능하게 하는 방법을 개발하고 에너지 효율성을 평가한다.

제안 방법

• 깊은 SNN에서 과소활성화를 방지하고 발화율을 향상시키기 위해 채널별 정규화를 제안한다.
• SNN에서 leaky-ReLU 누출 항을 충실히 구현하기 위해 불균형 임계치(IBT)를 갖는 부호화된 뉴런(IBT)을 도입한다.
• TinyYOLO를 기본 네트워크로 사용하여 물체 인식을 위한 DNN-에서 SNN으로의 변환 방법을 적응시킨다.
• SNN 프레임워크 내에서 최대 풀링과 배치 정규화를 구현한다.
• 디코딩 방식 평가: 막전위 기반 디코딩과 스파이크 수 기반 디코딩 중 막전위 기반 디코딩이 더 높은 정밀도를 제공한다.
• NVIDIA V100 GPU에서 TensorFlow Eager 시뮬레이션을 사용하고 Tiny YOLO 및 뉴로모픽 하드웨어와 비교한다.

실험 결과

연구 질문

• RQ1 깊은 SNN을 훈련시켜 비trivial 데이터셋(VOC 및 COCO)에서 DNN과 경쟁력 있는 정확도로 물체 인식을 수행하도록 할 수 있는가?
• RQ2 채널별 정규화와 IBT로 활성화된 부호화된 뉴런이 회귀 작업용 깊은 SNN에서의 정규화 및 leaky-ReLU 구현 문제를 극복할 수 있는가?
• RQ3 Spiking-YOLO의 GPU 대비 뉴로모픽 하드웨어에서의 에너지 효율의 트레이드오프는 Tiny YOLO와 비교하여 어떠한가?
• RQ4 스파이크 기반 물체 인식에서 어떤 출력 디코딩 방식이 더 높은 정밀도를 산출하는가?

주요 결과

• Spiking-YOLO는 특정 설정에서 VOC 및 COCO 데이터세트에서 Tiny YOLO 성능의 최대 98%에 도달한다.
• 채널별 정규화는 채널 간 발화율을 크게 향상시키고 수렴 속도를 가속시키며(레이어 정규화보다 빠름).
• 불균형 임계치를 가진 부호화된 뉴런은 SNN에서 leaky-ReLU를 효과적으로 구현하며 탐지 성능에 필수적이다.
• 막전위 기반 디코딩이 정확도와 수렴 속도에서 스파이크 수 디코딩보다 우수하다.
• 에너지 측면에서 Spiking-YOLO는 32-bit 부동 소수점 또는 정수 MAC/AC 모델에서 Tiny YOLO보다 2,000배 이상 에너지 효율적이며, 뉴로모픽 TrueNorth 하드웨어에서는 약 280배 더 에너지 효율적이다.