[논문 리뷰] A toolbox for neuromorphic sensing in robotics

Julien Dupeyroux, Stroobants, Stein외 1명|arXiv (Cornell University)|2021. 03. 03.

Advanced Memory and Neural Computing참고 문헌 36인용 수 7

한 줄 요약

이 논문은 전통적인 로봇 센서 데이터(예: IMU, 소나, 비디오)를 다수의 인코딩 알고리즘을 사용해 스파iking 신경망에 적합한 스파이크 트레인으로 변환할 수 있는 ROS 통합 툴박스를 소개한다. 이는 스파iking 신경망을 위한 실시간 인코딩/디코딩을 표준 센서에 적용할 수 있도록 하며, SF, MW, BSA, HSA 등의 방식에 대한 벤치마킹을 통해 뉴로모픽 로봇 기술 통합의 장벽을 크게 낮춘다.

ABSTRACT

The third generation of artificial intelligence (AI) introduced by neuromorphic computing is revolutionizing the way robots and autonomous systems can sense the world, process the information, and interact with their environment. The promises of high flexibility, energy efficiency, and robustness of neuromorphic systems is widely supported by software tools for simulating spiking neural networks, and hardware integration (neuromorphic processors). Yet, while efforts have been made on neuromorphic vision (event-based cameras), it is worth noting that most of the sensors available for robotics remain inherently incompatible with neuromorphic computing, where information is encoded into spikes. To facilitate the use of traditional sensors, we need to convert the output signals into streams of spikes, i.e., a series of events (+1, -1) along with their corresponding timestamps. In this paper, we propose a review of the coding algorithms from a robotics perspective and further supported by a benchmark to assess their performance. We also introduce a ROS (Robot Operating System) toolbox to encode and decode input signals coming from any type of sensor available on a robot. This initiative is meant to stimulate and facilitate robotic integration of neuromorphic AI, with the opportunity to adapt traditional off-the-shelf sensors to spiking neural nets within one of the most powerful robotic tools, ROS.

연구 동기 및 목표

• 로봇 분야에서 뉴로모픽 호환 센서의 부족을 해결하기 위해 표준 센서의 스파이크 기반 인코딩을 가능하게 한다.
• 표준화되고 실시간인 인코딩 파이프라인을 제공함으로써 뉴로모픽 AI 시스템의 센싱 병목 현상을 줄인다.
• 광범위하게 채택된 ROS 프레임워크를 활용해 기존 로봇 플랫폼에 뉴로모픽 AI를 쉽게 통합할 수 있도록 한다.
• 로봇 센싱 작업에서 성능, 정확도, 효율성 측면에서 여러 스파이크 인코딩 알고리즘을 벤치마킹한다.
• 즉각적인 구현과 확장이 가능한 오픈소스 MATLAB, Python, ROS 구현을 제공한다.

제안 방법

• 툴박스는 아날로그 또는 디지털 센서 신호를 스파이크 트레인으로 변환하기 위한 일곱 가지 스파이크 인코딩 알고리즘(GRF, TBR, SF, MW, BSA, HSA, T-HSA)을 구현한다.
• 각 알고리즘은 극성(+1, -1)과 타임스탬프를 가진 이벤트 시퀀스로 입력 신호를 인코딩하여 스파iking 신경망과의 호환성을 확보한다.
• 시스템은 커스텀 메시지 타입(spyke.msg, spyke_array.msg)과 ROS 노드를 통해 ROS에 네이티브로 통합되어 실시간 데이터 스트리밍을 지원한다.
• 인코딩 및 디코딩 기능은 Python으로 구현되었으며, 표준 ROS 런치 파일을 통해 로봇 센서와의 원활한 통합이 가능하다.
• 벤치마크는 합성 및 실제 센서 신호를 사용하여 재구성 정확도, 스파이크 수, 시간 정밀도 기준으로 인코딩 방식을 평가한다.
• ROS 배 기록 시스템을 통해 스파이크 데이터를 로깅하고, 데이터 분석 및 시각화를 위한 Python 스크립트를 제공한다.

실험 결과

연구 질문

• RQ1 표준 로봇 센서에서 어떤 스파이크 인코딩 알고리즘이 가장 정확한 신호 재구성 성능을 보이는가?
• RQ2 다양한 신호 동역학 조건에서 스파이크 수와 시간 해상도 측면에서 각 인코딩 방식은 어떻게 성능을 내는가?
• RQ3 소프트웨어 기반 스파이크 인코딩을 통해 상용 센서를 뉴로모픽 처리에 효과적으로 적응시킬 수 있는가?
• RQ4 제안된 방식들 간에 인코딩 복잡도, 재구성 정확도, 계산 부하 사이의 상호 상충 관계는 어떠한가?
• RQ5 ROS 기반 툴박스는 로봇 시스템에서 실시간이고 하드웨어에 종속되지 않는 뉴로모픽 센싱을 어떻게 가능하게 하는가?

주요 결과

• SF(스텝포워드) 및 MW(모바일 윈도우) 알고리즘은 낮은 지연과 높은 시간 정밀도로 다주파수 신호 재구성에서 뛰어난 성능을 보였다.
• BSA(벤의 스파이크 알고리즘) 및 HSA(허프 스파이크 알고리즘)는 다양한 신호 진폭에서 안정적인 스파이크 출력을 보이며 효과적인 레이트 기반 인코딩을 수행했다.
• T-HSA(임계값 허프 스파이크 알고리즘)는 적응형 임계값 메커니즘 덕분에 특히 저SNR 조건에서 노이즈에 더 강건한 성능을 보였다.
• 툴박스는 SF 알고리즘을 사용해 비디오 스트림의 실시간 스파이크 인코딩을 성공적으로 구현했으며, 임계값 제어를 통해 감도를 조절할 수 있는 이벤트 기반 카메라 행동을 모방했다.
• 벤치마킹 결과, 다수의 스파이크 인코딩(GRF)과 시간 기반 인코딩(TBR) 방식이 동적 신호 조건에서 레이트 기반 방법보다 더 높은 재구성 정확도를 보였다.
• ROS 통합 덕분에 스파이크 스트림이 원활하게 로깅되고 처리되었으며, 로그된 스파이크 데이터는 rosbag에 기록되어 현장 로봇 응용 분야에서의 시스템 신뢰성을 검증했다.