[논문 리뷰] Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation

Shubham Negi, Deepika Sharma외 2명|arXiv (Cornell University)|2023. 06. 05.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 이벤트 기반 카메라 데이터로부터 효율적인 시간적 특징을 추출하기 위해 스파iking 신경망(SNN) 계층을 사용하고, 표준 하드웨어에서의 훈련과 배포를 용이하게 하기 위해 아날로그 신경망(ANN) 계층을 이어가는 하이브리드 SNN-ANN 아키텍처를 제안한다. 이 방법은 DSEC 및 MVSEC 데이터셋에서 SNN-단일 모델 대비 평균 종점 오차(AEE)가 24.8–31% 낮고, 추론 에너지가 2.1–3.1배 낮은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In the field of robotics, event-based cameras are emerging as a promising low-power alternative to traditional frame-based cameras for capturing high-speed motion and high dynamic range scenes. This is due to their sparse and asynchronous event outputs. Spiking Neural Networks (SNNs) with their asynchronous event-driven compute, show great potential for extracting the spatio-temporal features from these event streams. In contrast, the standard Analog Neural Networks (ANNs) fail to process event data effectively. However, training SNNs is difficult due to additional trainable parameters (thresholds and leaks), vanishing spikes at deeper layers, and a non-differentiable binary activation function. Furthermore, an additional data structure, membrane potential, responsible for keeping track of temporal information, must be fetched and updated at every timestep in SNNs. To overcome these challenges, we propose a novel SNN-ANN hybrid architecture that combines the strengths of both. Specifically, we leverage the asynchronous compute capabilities of SNN layers to effectively extract the input temporal information. Concurrently, the ANN layers facilitate training and efficient hardware deployment on traditional machine learning hardware such as GPUs. We provide extensive experimental analysis for assigning each layer to be spiking or analog, leading to a network configuration optimized for performance and ease of training. We evaluate our hybrid architecture for optical flow estimation on DSEC-flow and Multi-Vehicle Stereo Event-Camera (MVSEC) datasets. On the DSEC-flow dataset, the hybrid SNN-ANN architecture achieves a 40% reduction in average endpoint error (AEE) with 22% lower energy consumption compared to Full-SNN, and 48% lower AEE compared to Full-ANN, while maintaining comparable energy usage.

연구 동기 및 목표

• 비가역적 활성화, 소멸하는 스파이크, 임계값 및 누설과 같은 추가 매개변수로 인해 깊은 SNN의 훈련이 어려운 문제를 해결하기 위해.
• 세포막 잠금 추적으로 인한 데이터 이동이 많아 표준 하드웨어(예: GPU, Eyeriss)에서 SNN의 배포 효율성이 떨어지는 문제를 해결하기 위해.
• SNN의 시간 모델링 능력과 ANN의 훈련 효율성을 결합하여 정확도와 배포 가능성에 최적화된 하이브리드 아키텍처를 만들기 위해.
• 성능, 훈련 복잡도, 추론 에너지 간의 균형을 고려해 SNN 및 ANN 계층의 배치와 수를 최적화하기 위해.
• 정확도를 포기하지 않고도 비뉴로모르픽 하드웨어에서 이벤트 기반 광학 흐름 모델을 효율적으로 배포할 수 있도록 하기 위해.

제안 방법

• 스파이크가 비순차적이고 희박한 이벤트 스트림을 처리하기 위해, Leaky Integrate-and-Fire(LIF) 뉴런의 내재된 순환성과 세포막 전위를 활용해 시간 인코딩을 수행하는 초기 SNN 계층을 사용한다.
• SNN 계층 다음에 완전히 연결된 또는 컨볼루션형 ANN 계층을 여러 개 배치하여, 미분 가능한 활성화를 통해 백프로파게이션과 GPU에서의 표준 훈련을 가능하게 한다.
• SNN 계층에서 서로서티 그래디언트 방법과 학습 가능한 임계값/누설을 적용하여 훈련을 안정화시키면서도 시간 동적 특성을 유지한다.
• 훈련 복잡도와 추론 에너지를 최소화하기 위해 최적의 SNN 계층 수와 위치를 결정하기 위해 아블레이션 스터디를 수행한다.
• 최종 하이브리드 아키텍처를 일반 목적의 머신러닝 가속기(예: Eyeriss)에 배포하여 에너지 효율성과 추론 성능을 평가한다.
• 표준 광학 흐름 벤치마크(DSEC-flow 및 MVSEC)를 사용해 평균 종점 오차(AEE)와 에너지 소비 지표를 통해 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 하이브리드 SNN-ANN 아키텍처가 이벤트 기반 광학 흐름 추정에서 SNN-단일 모델과 ANN-단일 모델 모두를 초월할 수 있는가?
• RQ2 SNN 계층의 수와 배치는 정확도, 훈련 복잡도, 추론 에너지 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 이 하이브리드 아키텍처는 GPU 및 Eyeriss와 같은 표준 머신러닝 하드웨어에서 효율적으로 배포 가능하면서도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 이 하이브리드 모델에서 명시적인 시간 입력 인코딩(예: 볼록화)이 없음에도 불구하고, ANN 기반 모델보다 더 나은 시간적 특징 학습을 달성할 수 있는가?
• RQ5 AEE와 에너지 효율성 측면에서 이전의 하이브리드 모델 및 최신 기술 수준의 SNN/ANN 기준 모델에 비해 하이브리드 아키텍처는 어떻게 비교되는가?

주요 결과

• 제안된 하이브리드 아키텍처는 SNN-단일 기준 대비 DSEC-flow 데이터셋에서 평균 종점 오차(AEE)가 31% 낮고, 추론 에너지가 2.1배 낮다.
• MVSEC 데이터셋에서 하이브리드 모델은 SNN-단일 아키텍처 대비 AEE를 24.8% 낮추고, 추론 에너지를 3.1배 낮춘다.
• Mini-Hybrid 구성은 MVSEC에서 ANN-단일 버전 대비 AEE가 47% 낮고, SNN-단일 버전 대비 24% 낮다.
• MVSEC에서 하이브리드 아키텍처는 완전히 스파이킹인 XLIF-EV-FlowNet 대비 AEE가 37% 낮고, FireFlowNet-SNN 기준 대비 12.5% 낮다.
• 하이브리드 모델은 ANN-단일 모델과 유사한 에너지 효율성을 달성한다(예: Pico-Hybrid의 21.30 mJ 대비 Pico-ANN의 14.20 mJ)는 반면, SNN-단일 모델 대비 상당히 뛰어나다(예: Pico-SNN의 61.72 mJ).
• 아블레이션 스터디 결과, SNN 계층 수를 늘릴수록 성능이 악화됨을 확인하여, 이 하이브리드 설정에서 시간 인코딩을 위해 소수의 SNN 계층만이 최적임을 시사한다.