[논문 리뷰] Efficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention

Soikat Hasan Ahmed, Jan Finkbeiner외 1명|arXiv (Cornell University)|2024. 03. 15.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 저전력, 고시간해상도 전처리를 위한 스파iking 신경망(SNN)과 고정확도 특징 학습을 위한 인공신경망(ANN)을 융합한 하이브리드 SNN-ANN 기반 아키텍처를 제안한다. 이는 이벤트 기반 객체 검출을 위한 효율적인 접근을 제공하며, 순수한 ANN 기반 기준과 유사한 최신 성능을 달성하면서도 파라미터 및 에너지 예산을 크게 줄였다. 하드웨어 구현을 통해 인텔 로이히 2에서 하위 실시간 추론(1.7W)이 가능함을 검증하였다.

ABSTRACT

Event cameras offer high temporal resolution and dynamic range with minimal motion blur, making them promising for robust object detection. While Spiking Neural Networks (SNNs) on neuromorphic hardware are often considered for energy-efficient and low latency event-based data processing, they often fall short of Artificial Neural Networks (ANNs) in accuracy and flexibility. Here, we introduce Attention-based Hybrid SNN-ANN backbones for event-based object detection to leverage the strengths of both SNN and ANN architectures. A novel Attention-based SNN-ANN bridge module captures sparse spatial and temporal relations from the SNN layer and converts them into dense feature maps for the ANN part of the backbone. Additionally, we present a variant that integrates DWConvL-STMs to the ANN blocks to capture slower dynamics. This multi-timescale network combines fast SNN processing for short timesteps with long-term dense RNN processing, effectively capturing both fast and slow dynamics. Experimental results demonstrate that our proposed method surpasses SNN-based approaches by significant margins, with results comparable to existing ANN and RNN-based methods. Unlike ANN-only networks, the hybrid setup allows us to implement the SNN blocks on digital neuromorphic hardware to investigate the feasibility of our approach. Extensive ablation studies and implementation on neuromorphic hardware confirm the effectiveness of our proposed modules and architectural choices. Our hybrid SNN-ANN architectures pave the way for ANN-like performance at a drastically reduced parameter, latency, and power budget.

연구 동기 및 목표

• 희박하고 고시간해상도의 이벤트 데이터를 효율적으로 처리하여 객체 검출 성능을 유지를 하면서도, 높은 정확도를 달성하는 데 도전한다.
• 스파iking 신경망(SNN)의 에너지 효율성과 인공신경망(ANN)의 뛰어난 학습 능력을 융합한다.
• 희박한 SNN 특징을 밀도 높은 고수준 표현으로 효과적으로 변환하는 주의 기반 브리지 모듈을 설계한다.
• 디지털 뉴로모르픽 하드웨어(인텔 로이히 2)에 SNN 기반 아키텍처를 구현하여 하드웨어 구현 가능성과 에너지 효율성을 입증한다.
• 하이브리드 SNN-ANN 아키텍처를 통해 파라미터 및 전력 예산을 크게 줄이며 ANN 수준의 성능을 달성한다.

제안 방법

• 제안된 아키텍처는 SNN 블록이 높은 시간해상도와 낮은 전력 소비로 원시 이벤트 데이터를 처리하는 하이브리드 SNN-ANN 기반 아키텍처를 사용한다.
• 주목적 기반 SNN-ANN 브리지 모듈은 희박한 SNN 출력을 ANN 부분에 적합한 밀도 높은 특징 맵으로 변환하며, 이는 이벤트 레이트 공간(ERS) 주의와 공간 인식 시간적(SAT) 주의 두 구성 요소로 구성된다.
• ERS 주의는 높은 이벤트 활동을 보이는 공간 영역을 강조하여 공간적 특징 표현을 향상시킨다.
• SAT 주의는 시간에 따라 불규칙한 시공간 패턴을 고려하여 희박한 이벤트 스트림의 시간적 의존성을 모델링한다.
• SNN 구성 요소를 통해 오차 역전파가 가능하도록, 서피스 기반 경사 하강법을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• SNN 블록은 int8로 정밀도를 낮추고 배치 정규화 및 LIF 뉴런 동역학과 융합하여 인텔 로이히 2에 배포함으로써 정확도를 유지하고 저지연 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 하이브리드 SNN-ANN 아키텍처는 SNN의 에너지 효율성과 시간해상도의 이점을 유지하면서도 ANN 수준의 성능을 달성할 수 있는가?
• RQ2 제안된 주의 기반 SNN-ANN 브리지 모듈은 이벤트 데이터의 희박한 공간적 및 시간적 관계를 얼마나 효과적으로 포착하는가?
• RQ3 정확도와 계산 효율성의 최적 균형을 이루기 위해 SNN 및 ANN 블록 수의 최적 조합은 무엇인가?
• RQ4 SNN 기반 아키텍처는 최소한의 정확도 손실과 하위 실시간 지연으로 뉴로모르픽 하드웨어에 효율적으로 구현될 수 있는가?
• RQ5 디지털 뉴로모르픽 칩인 로이히 2에 구현되었을 때 하이브리드 아키텍처의 전력 소비 및 지연 특성은 어떠한가?

주요 결과

• 제안된 하이브리드 SNN-ANN 모델은 mAP(.5) 0.61, mAP(.75) 0.34, mAP(.5:.05:.95) 0.35를 달성하여 하이브리드 및 SNN 전용 기반 모델을 뛰어넘고 최신 ANN 기반 접근법과 동등한 성능을 보였다.
• 4-4 구성(4개의 SNN 및 4개의 ANN 블록)이 최적의 균형을 이루었으며, 3-5 구성과 동일한 성능을 달성하면서도 계산 오버헤드를 감소시켰다.
• SNN 블록은 인텔 로이히 2에 성공적으로 구현되어 1.7W ± 0.1W의 전력 소비와 스텝당 1.9ms ± 0.8ms의 지연을 기록했으며, 실시간(스텝당 5ms)보다 빠른 속도로 작동했다.
• 가중치 스케일링과 입력 융합을 고려한 int8 정밀도로의 정밀도 낮추기가 정확도를 유지했으며, mAP(.5)는 int8일 때 0.349, float16일 때 0.348로 유사한 성능를 보여 하드웨어 호환성을 입증했다.
• 제거 실험을 통해 ERS 및 SAT 주의 모듈이 성능 향상에 뚜렷한 기여를 했으며, 특히 희박한 이벤트 입력을 처리하는 데서 SAT 주의가 뛰어난 효과를 보였다.
• 하드웨어 구현 결과, SNN 기반 아키텍처가 하위 실시간, 저전력 추론을 가능하게 하여 NVIDIA 제트슨 오린 나노와 같은 상용 엣지 장치보다 에너지 효율성이 뛰어나다는 점을 입증했다.