[논문 리뷰] Deep Directly-Trained Spiking Neural Networks for Object Detection

Qiaoyi Su, Yuhong Chou외 5명|arXiv (Cornell University)|2023. 07. 21.

Advanced Memory and Neural Computing인용 수 15

한 줄 요약

논문은 EMS-YOLO를 소개하며, 4 타임스텝 만으로도 객체 탐지를 위한 직접 학습 심층 스파이킹 신경망(EMS-YOLO)을 제시하고, ANN-SNN 변환에 비해 에너지를 크게 절감하며 COCO 성능에서 경쟁력을 보인다. 또한 이벤트 기반 Gen1 데이터에서의 실시간 추론으로 강력한 결과를 입증한다.

ABSTRACT

Spiking neural networks (SNNs) are brain-inspired energy-efficient models that encode information in spatiotemporal dynamics. Recently, deep SNNs trained directly have shown great success in achieving high performance on classification tasks with very few time steps. However, how to design a directly-trained SNN for the regression task of object detection still remains a challenging problem. To address this problem, we propose EMS-YOLO, a novel directly-trained SNN framework for object detection, which is the first trial to train a deep SNN with surrogate gradients for object detection rather than ANN-SNN conversion strategies. Specifically, we design a full-spike residual block, EMS-ResNet, which can effectively extend the depth of the directly-trained SNN with low power consumption. Furthermore, we theoretically analyze and prove the EMS-ResNet could avoid gradient vanishing or exploding. The results demonstrate that our approach outperforms the state-of-the-art ANN-SNN conversion methods (at least 500 time steps) in extremely fewer time steps (only 4 time steps). It is shown that our model could achieve comparable performance to the ANN with the same architecture while consuming 5.83 times less energy on the frame-based COCO Dataset and the event-based Gen1 Dataset.

연구 동기 및 목표

• 에너지 효율적인 객체 탐지를 촉진하고 경계 상자 예측과 같은 회귀 태스크를 위한 직접 학습 SNN을 탐구한다.
• 비-스파이크 계산을 피하기 위해 깊은 완전 스파이크 백본과 탐지 헤드를 개발하여 에너지 사용을 줄인다.
• 프레임 기반 및 이벤트 기반 데이터에 적합한 완전 스파이크 프레임워크 내에서 다중 스케일 특징 추출을 가능하게 한다.

제안 방법

• EMS-YOLO를 제안한다. 이 탐지기는 surrogate gradients를 사용하여 SNN으로 직접 학습된다.
• 깊은 직접 학습 SNN을 가능하게 하는 풀 스파이크 잔여 블록 EMS-ResNet을 도입한다.
• 단축 경로에서 MAC 연산을 피하고 스파이크-전용 계산을 유지하기 위해 Energy-Efficient Membrane-Shortcut 블록을 사용한다.
• 프레임 기반 및 이벤트 기반 데이터 모두에 대한 입력 표현을 채택하고 이벤트의 시간 축 분할을 포함한다.
• Block Dynamical Isometry 이론을 통해 경사 동작을 분석하고 깊은 학습 가능성을 정당화한다.
• AC/MAC 연산 수 및 스파이크 기반 에너지 지표로 에너지 소비를 평가한다.

실험 결과

연구 질문

• RQ1 완전 스파이크 기반의 직접 학습 SNN이 ANN-SNN 변환 없이 경쟁력 있는 객체 탐지 성능을 달성할 수 있는가?
• RQ2 깊이에서도 계산을 완전히 스파이크로 유지하고 에너지 효율성을 유지하도록 잔여 블록을 어떻게 설계할 수 있는가?
• RQ3 프레임 기반 COCO 데이터와 이벤트 기반 Gen1 데이터에서 직접 학습된 SNN 탐지기의 에너지 효율성은 어느 정도인가?
• RQ4 EMS-ResNet은 실제로 기울기 소실/발산 없이 깊은 학습을 가능하게 하는가?
• RQ5 타임스텝 수와 네트워크 깊이가 직접 학습 SNN 탐지기의 정확도에 어떤 영향을 미치는가?

주요 결과

• EMS-YOLO와 EMS-ResNet34는 4 타임 스텝만으로 COCO2017에서 경쟁력 있는 성능을 달성하며, 수백에서 수천 스텝이 필요한 일부 ANN-SNN 변환 기준을 능가한다.
• 완전 스파이킹 EMS-ResNet 설계는 숏컷 경로의 비-스파이크 MAC를 제거하여 상당한 에너지 절감을 낳으며(비교 가능한 ANN 대비 최대 5.83x 에너지 절감으로 보고됨).
• Gen1 이벤트 기반 데이터에서 EMS-ResNet18/ResNet10 변형은 비교 대상 ANN 또는 변환 SNN 기준보다 더 높은 mAP@0.5와 더 낮은 firing rate를 달성하여 희박한 스파이크로 강력한 성능을 보여준다.
• EMS-ResNet 백본은 경사 소실/발산을 완화하는 gradient-dynamics 조건(Block Dynamical Isometry)을 만족하여 더 깊은 직접 학습 SNN을 가능하게 한다.
• 변형들에 대한 평가에서 EMS-ResNet 블록은 에너지 효율성을 제공하고 시간 단계와 깊이에 따라 성능을 유지한다.