[논문 리뷰] SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

Hongwei Ren, Yue Zhou외 5명|arXiv (Cornell University)|2023. 10. 11.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

SpikePoint는 프레임 변환 없이 이벤트 카메라에서 온 희박한 이벤트 클라우드 데이터를 직접 처리하는 새로운 종단 간 포인트 기반 스파iking 신경망을 제안한다. 식별 맵핑과 서rogate 훈련을 활용한 단일 단계 아키텍처로, 16개 타임스텝, 인공 신경망(ANNs)의 0.3%에 불과한 파rameter 수, 그리고 0.5%의 전력 소비로 다섯 개의 데이터셋에서 최신 기술 수준(SOTA)의 행동 인식 정확도를 달성한다.

ABSTRACT

Event cameras are bio-inspired sensors that respond to local changes in light intensity and feature low latency, high energy efficiency, and high dynamic range. Meanwhile, Spiking Neural Networks (SNNs) have gained significant attention due to their remarkable efficiency and fault tolerance. By synergistically harnessing the energy efficiency inherent in event cameras and the spike-based processing capabilities of SNNs, their integration could enable ultra-low-power application scenarios, such as action recognition tasks. However, existing approaches often entail converting asynchronous events into conventional frames, leading to additional data mapping efforts and a loss of sparsity, contradicting the design concept of SNNs and event cameras. To address this challenge, we propose SpikePoint, a novel end-to-end point-based SNN architecture. SpikePoint excels at processing sparse event cloud data, effectively extracting both global and local features through a singular-stage structure. Leveraging the surrogate training method, SpikePoint achieves high accuracy with few parameters and maintains low power consumption, specifically employing the identity mapping feature extractor on diverse datasets. SpikePoint achieves state-of-the-art (SOTA) performance on four event-based action recognition datasets using only 16 timesteps, surpassing other SNN methods. Moreover, it also achieves SOTA performance across all methods on three datasets, utilizing approximately 0.3\% of the parameters and 0.5\% of power consumption employed by artificial neural networks (ANNs). These results emphasize the significance of Point Cloud and pave the way for many ultra-low-power event-based data processing applications.

연구 동기 및 목표

• 비동기적 이벤트 데이터를 정적 프레임으로 변환하는 기존 SNN의 비효율성과 희박성 손실 문제를 해결하기 위해.
• 희박한 3D 이벤트 포인트 클라우드를 원천적으로 처리하면서도 세밀한 시간 정보를 유지하는 경량의 종단 간 SNN 아키텍처를 개발하기 위해.
• 단일 단계 구조에서 서rogate 훈련과 식별 맵핑을 활용해 최소한의 파rameter와 초저전력 소비로 높은 정확도를 달성하기 위해.
• 포인트 클라우드 표현에서 음수 상대 위치 값의 대칭성을 유지하는 새로운 인코딩 체계를 도입하기 위해.
• 이벤트 기반 행동 인식에서 포인트 클라우드 기반 SNN이 프레임 기반 및 다단계 SNN/ANN 접근 방식보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 이벤트 데이터를 3D 공간-시간 포인트 클라우드로 표현하여, 프레임 변환 없이도 희박성과 시간 해상도를 유지하기 위해.
• 공유 및 별도의 브랜치를 갖춘 이중 경로 구조를 통해 국소 및 전역 특징을 동시에 추출하는 단일 단계 SNN 아키텍처 설계하기.
• 역전파 훈련을 위해 서로서티 그래디언트 방법을 사용하여, ANN을 SNN로 변환하지 않고도 종단 간 최적화를 가능하게 하기 위해.
• 포인트 클라우드 입력에서 음수 상대 좌표를 처리하기 위해 절대값 적용과 중심점 정규화를 적용한 새로운 인코딩 전략 도입하기.
• 파ram터 수를 감소시키고 훈련 안정성을 향상시키기 위해 특징 추출기로 식별 맵핑 사용하기.
• 국소 및 전역 특징을 효과적으로 융합하기 위해 요소별 덧셈(Add)을 사용한 이중 브랜치 융합 메커니즘 구현하기.

실험 결과

연구 질문

• RQ1 이벤트를 프레임으로 변환하지 않고도 포인트 기반 SNN 아키텍처가 이벤트 카메라 데이터에서 뛰어난 행동 인식 성능을 달성할 수 있는가?
• RQ2 다단계 또는 잔차 구조를 갖춘 SNN과 비교할 때 단일 단계 SNN 아키텍처는 정확도, 파라미터 효율성, 에너지 소비 측면에서 어떻게 다른가?
• RQ3 특히 음수 값을 포함하는 상대 좌표 데이터에 대한 다양한 인코딩 전략이 SNN 성능에 미치는 영향은 무엇인가?
• RQ4 최소한의 타임스텝(예: 16)을 갖는 경량 SNN이 이벤트 기반 벤치마크에서 더 큰 ANN 및 SNN 모델의 정확도를 따라하거나 초월할 수 있는가?
• RQ5 포인트 클라우드 표현 방식이 바이오닉 또는 프레임 기반 표현 방식보다 SNN에서 시간 희박성을 유지하고 에너지 효율성을 향상시킬 수 있는가?

주요 결과

• SpikePoint는 Daily DVS, DVS128 Gesture, HMDB51-DVS를 포함한 다섯 개의 이벤트 기반 행동 인식 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 단지 16개 타임스텝만을 사용한다.
• Daily DVS 데이터셋에서 SpikePoint는 97.92%의 정확도를 기록하여 이전의 SOTA SNN을 뛰어넘고, 일부 경쟁적인 ANN 모델조차도 초월한다.
• 모델은 동등한 ANN 대비 약 0.3%의 파라미터와 0.5%의 전력 소비를 사용하면서도, 유사하거나 더 높은 정확도를 유지한다.
• 제거 실험 결과, Add 융합을 사용한 이중 경로 구조를 통한 국소 및 전역 특징 추출이 가장 높은 성능을 내며, 단일 경로 또는 연결 기반 설계보다 뛰어나다.
• 최적의 타임스텝은 16이며, 이를 초과하면(예: 24 또는 32) 과적합 또는 시간적 불일치로 인해 정확도가 떨어진다.
• 절대값 적용과 중심점 정규화를 사용한 인코딩 전략이 성능을 크게 향상시키며, 특히 음수 좌표 값을 처리할 때 정규화 및 기타 변형보다 뛰어나다.