[논문 리뷰] Temporal Pulses Driven Spiking Neural Network for Fast Object Recognition in Autonomous Driving

Wei Wang, Shibo Zhou외 4명|arXiv (Cornell University)|2020. 01. 24.

Advanced Memory and Neural Computing참고 문헌 21인용 수 11

한 줄 요약

이 논문은 자율 주행에서 빠르고 저지연 객체 인식을 위해 원시 LiDAR 시간 펄스를 직접 처리하는 스파iking 신경망(SNN)을 제안한다. 이벤트 기반, 희소 스파이크 계산 및 시간 코드화를 활용함으로써, 모델은 KITTI에서 96.62%의 정확도를 달성했으며 평균 추론 시간은 2.02ms, 전력 소비는 29.83 nJ에 그쳤다—기존 DNN보다 뛰어난 속도와 에너지 효율성을 입증한다.

ABSTRACT

Accurate real-time object recognition from sensory data has long been a crucial and challenging task for autonomous driving. Even though deep neural networks (DNNs) have been successfully applied in this area, most existing methods still heavily rely on the pre-processing of the pulse signals derived from LiDAR sensors, and therefore introduce additional computational overhead and considerable latency. In this paper, we propose an approach to address the object recognition problem directly with raw temporal pulses utilizing the spiking neural network (SNN). Being evaluated on various datasets (including Sim LiDAR, KITTI and DVS-barrel) derived from LiDAR and dynamic vision sensor (DVS), our proposed method has shown comparable performance as the state-of-the-art methods, while achieving remarkable time efficiency. It highlights the SNN's great potentials in autonomous driving and related applications. To the best of our knowledge, this is the first attempt to use SNN to directly perform object recognition on raw temporal pulses.

연구 동기 및 목표

• 자율 주행 객체 인식에서 프레임 기반 딥 러닝 방법의 높은 지연과 계산 오버헤드 문제를 해결하기 위해.
• LiDAR 센서의 원시 시간 펄스 데이터를 활용해 실시간, 에너지 효율적인 객체 인식을 가능하게 하기 위해.
• 비동기적이고 이브넷 기반 감각 데이터를 직접 처리하는 스파iking 신경망(SNN)의 가능성과 이점을 탐색하기 위해.
• 기존의 3D 포인트 클라우드 생성 및 사전 처리 단계를 생략하는 새로운 SNN 아키텍처를 개발하기 위해.
• 실제 및 시뮬레이션 데이터셋에서 제안된 SNN의 성능과 효율성을 평가하기 위해.

제안 방법

• 제안된 모델는 원시 LiDAR 시간 펄스를 스파이크 트레인으로 인코딩하기 위해 수정된 시간 코드화를 사용하는 피드포워드 SNN을 사용한다.
• 스파이킹 컨볼루션 신경망(SCNN) 아키텍처를 활용해 스파이크 입력으로부터 계층적 특징을 추출한다.
• 스파이크 도착 시간을 주요 정보 전달 수단으로 사용함으로써 고정 프레임 없이 이브넷 기반 처리가 가능하다.
• 모델은 첫 번째 출력 스파이크 기반으로 인식 결정을 수행함으로써 계산 부담과 지연을 감소시킨다.
• 다양한 도로 및 노이즈 조건에서의 LiDAR 반사 현상을 시뮬레이션하기 위해 새로운 데이터셋인 Sim LiDAR를 구축했다.
• 뉴모르포틱 회로에서의 하드웨어 매핑 가정과 에너지 모델을 사용해 전력 및 지연 효율성을 평가했다.

실험 결과

연구 질문

• RQ1 SNN은 중간 단계인 3D 포인트 클라우드 생성 없이도 원시 LiDAR 시간 펄스를 직접 처리해 객체 인식을 수행할 수 있는가?
• RQ2 실제 및 시뮬레이션된 LiDAR 데이터에서 SNN 기반 접근법은 기존 DNN과 정확도, 지연, 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ3 SNN이 결정을 내리기 전에 입력 스파이크의 일부만 처리함으로써 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 SNN은 자율 주행 환경에서 저전력 소비로 실시간 성능을 달성할 수 있는가?
• RQ5 시간 코드화와 이브넷 기반 스파이킹이 인식 속도와 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 SCNN은 KITTI 데이터셋에서 96.62%의 정확도를 달성했으며, 표준 CNN(88.22%), VGG-16 및 ResNet-50와 같은 더 깊은 모델들보다 뛰어난 성능을 보였다.
• 평균 추론 시간은 단 2.02ms로, 기존 DNN의 장기적인 프레임 기반 처리보다 훨씬 빠르게 작동했다.
• 인식에 평균 4,512개의 스파이크가 소비되었으며, 입력 시퀀스 전체로는 총 5,900개의 스파이크가 발생하여 낮은 계산 부담을 입증했다.
• 0.37 pJ/spike 뉴모르포틱 하드웨어 모델을 사용해 전력 소비를 약 29.83 nJ로 추정했으며, GPU 기반 DNN보다 수 개의 주기수 낮은 에너지 소비를 기록했다.
• 인식 시간 분포 분석 결과, KITTI 샘플의 90%는 3ms 이내, DVS 샘플의 90%는 1.5ms 이내에 분류되었으며,
• SNN 모델은 최소한의 스파이크 처리로도 높은 성능을 달성했으며, 모든 입력 스파이크가 도착하기 이전에 결정을 내릴 수 있음을 확인했다.