[논문 리뷰] Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware

Simon F Muller-Cleve, Vittorio Fra외 9명|arXiv (Cornell University)|2022. 05. 30.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 뉴모르픽 하드웨어에서 브레일 문자 독해를 이용한 시공간 패턴 인식을 위한 새로운 벤치마크를 소개한다. iCub 로봇의 용량 감지 터치 센서에서 수집한 새로운 촉각 데이터셋을 제시하고, 이벤트 기반 인코딩과 스파iking 신경망(SNN)을 통한 스파ike 기반 학습을 평가하며, Intel Loihi에서 SNN이 GPU 기반 LSTM보다 약 500배 더 낮은 에너지 소비로 약 97%의 정확도를 달성함을 보여주어, 엣지 기반 촉각 감지에 있어 뉴모르픽 컴퓨팅의 에너지 효율성을 입증한다.

ABSTRACT

Spatio-temporal pattern recognition is a fundamental ability of the brain which is required for numerous real-world activities. Recent deep learning approaches have reached outstanding accuracies in such tasks, but their implementation on conventional embedded solutions is still very computationally and energy expensive. Tactile sensing in robotic applications is a representative example where real-time processing and energy efficiency are required. Following a brain-inspired computing approach, we propose a new benchmark for spatio-temporal tactile pattern recognition at the edge through Braille letter reading. We recorded a new Braille letters dataset based on the capacitive tactile sensors of the iCub robot's fingertip. We then investigated the importance of spatial and temporal information as well as the impact of event-based encoding on spike-based computation. Afterward, we trained and compared feedforward and recurrent Spiking Neural Networks (SNNs) offline using Backpropagation Through Time (BPTT) with surrogate gradients, then we deployed them on the Intel Loihi neuromorphic chip for fast and efficient inference. We compared our approach to standard classifiers, in particular to the Long Short-Term Memory (LSTM) deployed on the embedded NVIDIA Jetson GPU, in terms of classification accuracy, power, energy consumption, and delay. Our results show that the LSTM reaches ~97% of accuracy, outperforming the recurrent SNN by ~17% when using continuous frame-based data instead of event-based inputs. However, the recurrent SNN on Loihi with event-based inputs is ~500 times more energy-efficient than the LSTM on Jetson, requiring a total power of only ~30 mW. This work proposes a new benchmark for tactile sensing and highlights the challenges and opportunities of event-based encoding, neuromorphic hardware, and spike-based computing for spatio-temporal pattern recognition at the edge.

연구 동기 및 목표

• 뉴모르픽 컴퓨팅에서 촉각 감지를 활용한 시공간 패턴 인식을 위한 표준화된 벤치마크를 수립하기 위해.
• 이베ント 기반 데이터를 활용한 브레일 문자 인식에서 공간적 및 시간적 정보의 기여를 조사하기 위해.
• 정확도, 에너지 소비, 지연 시간 측면에서 스파이크 기반 학습(SNN)과 기존 분류기(LSTM 등)의 성능을 평가하기 위해.
• 이베ント 기반 감지와 뉴모르픽 하드웨어가 실시간, 저전력 엣지 추론을 위한 촉각 인식에 어떻게 유리한지를 보여주기 위해.
• 향후 이베ント 기반 뉴모르픽 기계 학습 연구를 가속화하기 위해 오픈소스 데이터셋과 코드를 제공하기 위해.

제안 방법

• iCub 로봇의 손끝에 부착된 용량 감지 촉각 센서를 사용하여 브레일 문자 데이터셋을 신규로 수집하여 동적 촉각 상호작용을 기록하였다.
• 지속적인 프레임 기반 센서 데이터를 생물학적 신경 신호를 모방하는 희소한 시간 스탬프를 가진 스파이크 이벤트로 변환함으로써 이벤트 기반 인코딩을 구현하였다.
• 후행 전파를 시간에 따라 적용(BPTT)하고, 서로우 기반 경사 하강법를 사용하여, 전방향 및 순환 스파iking 신경망(SNN)을 엔드 투 엔드로 학습시켰다.
• 학습된 SNN을 Intel Loihi 뉴모르픽 칩에 구현하여 저전력, 실시간 추론을 수행하였다.
• 정확도, 에너지 소비, 계산 지연 시간 측면에서, NVIDIA Jetson GPU에 배포된 표준 LSTM 분류기와 SNN의 성능을 비교하였다.
• PCA와 선형 SVM 분석을 통해 다양한 인코딩 방식과 네트워크 표현에서의 정보 내용을 분석하였다.

실험 결과

연구 질문

• RQ1 이벤트 기반 인코딩은 촉각 시공간 패턴 인식에서 스파iking 신경망의 성능에 어떤 영향을 미치는가?
• RQ2 SNN을 뉴모르픽 하드웨어에서 사용할 때와 GPU에서 기존 딥러닝 모델을 사용할 때의 정확도와 에너지 효율성 간의 상호 보완적 관계는 어떠한가?
• RQ3 촉각 센서 데이터의 공간적 및 시간적 특징이 정확한 브레일 문자 인식에 얼마나 기여하는가?
• RQ4 이 작업에서 순환 SNN의 성능은 LSTM과 같은 표준 RNN과 비교해 어떻게 다른가?
• RQ5 뉴모르픽 하드웨어는 실시간, 저전력 엣지 기반 촉각 인식 시스템을 위한 추론을 가능하게 할 수 있는가?

주요 결과

• NVIDIA Jetson GPU에 배포된 LSTM 분류기는 연속적인 프레임 기반 데이터를 사용하여 약 97%의 분류 정확도를 달성하였다.
• Intel Loihi 칩에 구현된 순환 SNN은 이벤트 기반 입력을 사용할 때 약 80%의 정확도를 기록하였으며, 이는 LSTM과의 약 17%의 성능 격차를 의미한다.
• 낮은 정확도에도 불구하고, Loihi에 배포된 SNN은 전력 소비가 약 30 mW에 불과하여 GPU 기반 LSTM보다 약 500배 더 낮은 에너지 소비를 기록하였다.
• 이벤트 기반 인코딩은 데이터 전송 및 처리 오버헤드를 감소시켜, 촉각 자극의 희소성과 부합하였다.
• 이 연구는 뉴모르픽 하드웨어가 매우 에너지 효율적인 추론을 가능하게 하며, 실시간 임베디드 촉각 감지 응용 분야에 이상적임을 입증하였다.
• 오픈소스 데이터셋(DOI: 10.5281/zenodo.7050094)과 코드는 향후 뉴모르픽 기계 학습 분야의 벤치마킹 및 개발에 기초 자료를 제공한다.