[논문 리뷰] A Spike Learning System for Event-driven Object Recognition

Shibo Zhou, Wei Wang외 2명|arXiv (Cornell University)|2021. 01. 21.

Advanced Memory and Neural Computing참고 문헌 40인용 수 8

한 줄 요약

이 논문은 LiDAR 및 DVS 센서를 사용한 이벤트 기반 객체 인식을 위한 새로운 시간 코드화 방식을 갖춘 스파iking 신경망(SNN) 기반 학습 시스템을 제안한다. 이벤트 도착 시간과 데이터를 직접 스파이크 시간으로 매핑함으로써 고정된 누적 윈도우 없이 이종적이고 실시간 처리가 가능해지며, KITTI 데이터셋에서 기존 방법 대비 최대 91.7%까지 인식 지연을 감소시키고 최첨단 정확도를 달성한다.

ABSTRACT

Event-driven sensors such as LiDAR and dynamic vision sensor (DVS) have found increased attention in high-resolution and high-speed applications. A lot of work has been conducted to enhance recognition accuracy. However, the essential topic of recognition delay or time efficiency is largely under-explored. In this paper, we present a spiking learning system that uses the spiking neural network (SNN) with a novel temporal coding for accurate and fast object recognition. The proposed temporal coding scheme maps each event's arrival time and data into SNN spike time so that asynchronously-arrived events are processed immediately without delay. The scheme is integrated nicely with the SNN's asynchronous processing capability to enhance time efficiency. A key advantage over existing systems is that the event accumulation time for each recognition task is determined automatically by the system rather than pre-set by the user. The system can finish recognition early without waiting for all the input events. Extensive experiments were conducted over a list of 7 LiDAR and DVS datasets. The results demonstrated that the proposed system had state-of-the-art recognition accuracy while achieving remarkable time efficiency. Recognition delay was shown to reduce by 56.3% to 91.7% in various experiment settings over the popular KITTI dataset.

연구 동기 및 목표

• 고정된 사전 설정된 이벤트 누적 시간에 의존하는 기존 이벤트 기반 객체 인식 시스템에서의 시간 효율성 부족 문제를 해결한다.
• 이벤트 기반 센서(LiDAR, DVS)와 SNN의 본질적인 이종성 특성을 활용하여, 전체 이벤트 프레임을 기다리지 않고도 실시간, 저지연 인식을 가능하게 한다.
• 수동으로 설정된 것이 아니라 시스템이 스스로 최적화하는 이벤트 누적 시간을 도입함으로써 반응성과 효율성을 향상시킨다.
• 정확도와 함께 시간 효율성을 주요 평가 지표로 삼아, 동적이고 고속 응용 분야에서의 성능 기준을 새롭게 설정한다.
• 이종적이고 실시간으로 처리 가능한 스파이크 시간에 정확히 매핑되는 이벤트를 위한 시간 코드화 방식을 개발함으로써 즉각적인 처리와 최소 지연을 실현한다.

제안 방법

• 각 이벤트의 도착 시간과 데이터를 SNN 뉴런의 스파이크 시간에 인코딩하는 새로운 시간 코드화 방식을 설계하여, 직접적이고 시간 정확도가 높은 처리를 가능하게 한다.
• 시간 코드화를 SNN의 본질적인 이종적 처리 능력과 통합하여, 동기화 지연 없이 먼저 도착한 이벤트부터 처리할 수 있도록 한다.
• 최종 출력 레이어의 스파이크 시간을 최소화하는 손실 함수를 사용하여, 각 인식 작업에 대해 이벤트 누적 시간을 암묵적으로 최적화한다.
• 시간을 거슬러 올라가는 역전파(BPTT)와 서rogate 기울기를 사용하여 SNN을 백프로파게이션으로 끝에서 끝까지 학습시킴으로써 시간 표현의 종합적 학습을 가능하게 한다.
• 고정된 시간 윈도우 없이 KITTI, DVS-CIFAR10, N-MNIST 등의 다양한 LiDAR 및 DVS 데이터셋에 시스템을 적용한다.
• 네트워크가 충분한 신뢰도에 도달한 시점에 따라 각 샘플의 인식 완료 시간을 동적으로 결정함으로써 조기 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 코드화를 적용한 스파iking 신경망은 고정된 누적 윈도우에 의존하지 않고도 높은 정확도와 낮은 지연을 동시에 달성할 수 있는가?
• RQ2 시스템의 자가 최적화된 이벤트 누적 시간은 고정된 지속 시간 기반 기준 대비 인식 지연과 정확도 측면에서 어떻게 비교되는가?
• RQ3 자율 주행과 같이 운동 왜곡과 지연이 핵심적인 고속 응용 분야에서 시스템은 얼마나 인식 지연을 줄일 수 있는가?
• RQ4 제안된 시간 코드화 방식은 희박하고 이종적인 이벤트를 비동기적으로 실시간 처리하면서도 정확도를 어떻게 유지하는가?
• RQ5 다양한 이벤트 빈도와 희박성의 이벤트 기반 데이터셋에서 시스템은 경쟁 가능한 성능을 유지할 수 있는가?

주요 결과

• 제안된 시스템은 고정 윈도우 기반 기준 대비 KITTI 데이터셋에서 다양한 설정에서 평균 56.3%에서 최대 91.7%까지 인식 지연을 감소시켰다.
• N-Sydney 데이터셋에서는 평균적으로 인퍼런스에 필요한 이벤트의 62%만 사용되었고, DVS 데이터셋에서는 50% 미만으로 감소하여 효율적인 이벤트 활용을 입증했다.
• 90%의 샘플에 대해 인퍼런스 시간이 1~3ms 이내에 완료되어 강력한 시간 효율성과 낮은 지연을 보였다.
• DVS-Barrel에서 99.5%, Hand-Gesture에서 99.9%의 최첨단 정확도를 달성하여 기존 SNN 및 CNN 방법을 모두 초월했다.
• N-MNIST에서 뉴런 22,000개만으로도 99.15%의 정확도를 달성하여 높은 효율성과 낮은 계산 비용을 입증했다.
• 학습 과정에서 출력 스파이크 시간을 최소화함으로써 효과적인 이벤트 누적 시간이 자동으로 최적화되어 수동 하이퍼파라미터 조정이 불필요해졌다.