[논문 리뷰] Object Detection based on LIDAR Temporal Pulses using Spiking Neural Networks

Shibo Zhou, Wei Wang|arXiv (Cornell University)|2018. 10. 29.

Advanced Memory and Neural Computing참고 문헌 23인용 수 7

한 줄 요약

이 논문은 기존의 신호 전처리를 거치지 않고 원시 LIDAR 시간 펄스를 직접 처리하는 스파iking 신경망(SNN) 프레임워크를 제안한다. 실시간 객체 검출을 위해 설계되었으며, 10%의 노이즈 조건에서 99.83%의 정확도를 달성하고 평균 인식 지연 시간이 단 265 ns에 불과하여, 이벤트 기반의 원시 LIDAR 신호 처리를 활용한 저지연, 저에너지 소비 자율 주행 시스템에서 SNN의 잠재력을 입증한다.

ABSTRACT

Neural networks has been successfully used in the processing of Lidar data, especially in the scenario of autonomous driving. However, existing methods heavily rely on pre-processing of the pulse signals derived from Lidar sensors and therefore result in high computational overhead and considerable latency. In this paper, we proposed an approach utilizing Spiking Neural Network (SNN) to address the object recognition problem directly with raw temporal pulses. To help with the evaluation and benchmarking, a comprehensive temporal pulses data-set was created to simulate Lidar reflection in different road scenarios. Being tested with regard to recognition accuracy and time efficiency under different noise conditions, our proposed method shows remarkable performance with the inference accuracy up to 99.83% (with 10% noise) and the average recognition delay as low as 265 ns. It highlights the potential of SNN in autonomous driving and some related applications. In particular, to our best knowledge, this is the first attempt to use SNN to directly perform object recognition on raw Lidar temporal pulses.

연구 동기 및 목표

• 펄스 신호의 사전 처리에 의존하는 기존 LIDAR 기반 객체 검출 방법에서 발생하는 높은 계산 부하와 지연 문제를 해결하기 위해.
• 스파킹 신경망(SNN)이 중간 디지털 변환 없이 원시 시간 펄스를 직접 분류할 수 있는지 탐색하기 위해.
• 기준 측정을 위해 다양한 도로 조건과 노이즈 수준에서 LIDAR 시간 펄스의 포괄적이고 현실적인 데이터셋을 구축하기 위해.
• 정확도, 추론 지연, 노이즈에 대한 강건성 측면에서 SNN 기반 객체 검출 성능을 평가하기 위해.
• 자율 주행 애플리케이션에서 초저지연, 저에너지 소비 객체 인식을 위한 SNN의 잠재력을 입증하기 위해.

제안 방법

• 3개의 완전 연결층으로 구성된 전방향 SNN을 사용함: 입력 뉴런 256개, 은닉 뉴런 400개, 30개의 출력 뉴런(30개의 객체 카테고리용).
• 시간 코드화 방식을 적용하여 LIDAR 센서에서 온 스파이크의 시기적 배치가 깊이 및 객체 특징을 직접 나타내며, 최대 시간 지연은 1 µs로 제한됨.
• 다양한 도로 시나리오와 노이즈 조건에서 LIDAR 반사 현상을 시뮬레이션하기 위해 3,000개의 학습 샘플과 600개의 테스트 샘플로 구성된 맞춤형 데이터셋을 생성함.
• 학습은 학습률 0.01, 배치 크기 60, L2 정규화, 최대 100 에포크를 사용한 확률적 경사 하강법(SGD)으로 수행됨.
• 네트워크는 이벤트 기반, 이면적 방식으로 입력 펄스를 처리하여 스파이크 도착 즉시 반응함으로써 저지연 추론을 가능하게 함.
• 정확도, 평균 인식 지연, 스파이크 수 분포, 노이즈 증가에 따른 강건성 기반으로 성능을 평가함.

실험 결과

연구 질문

• RQ1 스파킹 신경망(SNN)은 사전 처리 없이 원시 LIDAR 시간 펄스에서 직접 객체 검출을 효과적으로 수행할 수 있는가?
• RQ2 다양한 노이즈 수준에서 실제와 유사한 LIDAR 펄스 신호를 처리할 때 SNN 기반 시스템의 정확도와 추론 지연은 어떻게 되는가?
• RQ3 노이즈가 포함될 경우 SNN 모델의 수렴 속도와 최종 정확도는 객체 검출 작업에서 어떤 영향을 미치는가?
• RQ4 전통적인 딥러닝 파이프라인에 비해 SNN은 LIDAR 데이터 처리에서 계산 복잡도와 지연을 얼마나 줄일 수 있는가?
• RQ5 SNN 모델이 허용 가능한 검출 정확도를 유지하면서 견딜 수 있는 최대 노이즈 범위는 어느 정도인가?

주요 결과

• SNN 기반 시스템은 10% 노이즈 범위(0–0.10)에서 테스트한 결과 평균 추론 정확도가 99.83%를 기록하여 매우 높은 강건성을 입증함.
• 노이즈가 증가함에 따라 정확도는 점진적으로 감소: 0–0.20에서 96.16%, 0–0.33에서 82.66%, 0–0.50에서 68.16%로 나타나 최대 노이즈 내성 범위는 0–0.50로 판단됨.
• 첫 번째 펄스 도착 후 평균 인식 지연 시간이 단 265 나노초에 불과하여 초저지연 성능을 입증함.
• 80% 이상의 인식 이벤트가 0.23–0.30 µs 사이에 발생했으며, 대부분의 패턴이 0.3 µs 이내에 인식됨. 600개 패턴 중 495~517개가 이 범위에 포함됨.
• 패턴당 최대 180개의 입력 스파이크만 필요로 하여 기존 네트워크가 전체 입력 표현을 위해 요구하는 256개 스파이크보다 훨씬 적음.
• 네트워크는 빠른 수렴을 보였으며 대부분의 곡선이 32 에포크 후 안정화됨. 특히 0–0.10 노이즈 범위에서 가장 빠른 수렴이 관찰됨(14–20 에포크).