[논문 리뷰] ATIS + SpiNNaker: a Fully Event-based Visual Tracking Demonstration

Arren Glover, Alan B. Stokes외 2명|arXiv (Cornell University)|2019. 12. 03.

Advanced Memory and Neural Computing참고 문헌 2인용 수 4

한 줄 요약

이 논문은 ATIS 이벤트 카메라와 스파이너커( SpiNNaker) 뉴로모픽 하드웨어를 사용하여 완전히 이벤트 기반의 시각 추적 시스템을 제안한다. 이 시스템은 스파이너커의 코어들 간에 병렬로 실행되는 이방향 입자 필터 알고리즘을 활용하며, 수백 개의 입자를 사용해 1kHz 이상의 실시간 추적 성능을 달성한다. 이는 운동 유도 노이즈에 대해 뛰어난 내성과 병렬 처리를 통한 확장성을 보여준다. 이 시스템은 최소한의 지연 오버헤드로도 성능을 유지한다.

ABSTRACT

The Asynchronous Time-based Image Sensor (ATIS) and the Spiking Neural Network Architecture (SpiNNaker) are both neuromorphic technologies that "unconventionally" use binary spikes to represent information. The ATIS produces spikes to represent the change in light falling on the sensor, and the SpiNNaker is a massively parallel computing platform that asynchronously sends spikes between cores for processing. In this demonstration we show these two hardware used together to perform a visual tracking task. We aim to show the hardware and software architecture that integrates the ATIS and SpiNNaker together in a robot middle-ware that makes processing agnostic to the platform (CPU or SpiNNaker). We also aim to describe the algorithm, why it is suitable for the "unconventional" sensor and processing platform including the advantages as well as challenges faced.

연구 동기 및 목표

• ATIS 이벤트 기반 카메라와 스파이너커 뉴로모픽 프로세서를 통합하여 플랫폼에 종속되지 않는 로봇 미들웨어를 구축한다.
• 이벤트 스트림과 병렬 스파iking 계산을 활용한 실시간 시각 추적을 구현한다.
• 이벤트 기반 시각에 적합한 입자 필터의 타당성을 검증하기 위해 이방향 업데이트와 연속적인 운동 모델링에 적응시킨다.
• 伝통적인 CPU 대비 뉴로모픽 하드웨어에서의 시스템 확장성과 성능을 평가한다.

제안 방법

• 시스템은 프레임 기반 샘플링을 피하기 위해 ATIS 센서를 사용해 빛의 강도 변화를 나타내는 이방향 이진 스파이크를 생성한다.
• 입자 필터는 스파이너커 플랫폼에 구현되며, 각 입자의 상태(위치, 크기)와 가중치는 이벤트 스트림의 가능도에 따라 업데이트된다.
• 이벤트가 도착함에 따라 실시간으로 이벤트 기반의 필터 업데이트가 발생하며, 고속 운동 상태에서는 업데이트 빈도가 증가한다.
• 가능도 추정은 시간 순서에 따라 점진적으로 계산되며, 알려지지 않은 시간 창에 대해 마르코프 과정을 가정한다.
• 지속적인 시공간 해상도를 활용해 일정 위치 운동 모델을 제안함으로써, 프레임 점프 아티팩트를 방지한다.
• 스파이너커 코어 간의 통신은 네트워크 아키텍처를 통해 관리된다: ROI 필터는 이벤트를 병렬로 처리하고, 입자 노드는 코어 간에 상태와 가중치 정보를 동기화한다.

실험 결과

연구 질문

• RQ1 ATIS 카메라에서 발생하는 이방향이고 연속적인 이벤트 스트림을 처리하기 위해 입자 필터를 효과적으로 적응시킬 수 있는가?
• RQ2 스파이너커에서의 병렬 실행은 전통적인 CPU 기반 구현 대비 확장성과 업데이트 빈도에 어떤 영향을 미치는가?
• RQ3 뉴로모픽 하드웨어를 사용한 완전한 이벤트 기반 추적 파이프라인의 성능 및 지연 특성은 어떠한가?
• RQ4 추적 과정에서 배경 잡음과 자가 운동 유도 노이즈에 대해 시스템은 어느 정도 내성적인가?
• RQ5 스파이너커에서 통신 오버헤드를 최소화하면서도 수백 개의 입자로 확장해도 입자 필터가 높은 정확도를 유지할 수 있는가?

주요 결과

• 시스템은 실시간 추적 성능을 달성했으며, 수백 개의 입자를 사용해도 1kHz 이상의 업데이트 빈도를 확보하여 높은 계산 효율성을 입증했다.
• 필요에 따라 입자 필터는 2kHz 이상의 업데이트 주파수를 달성했으며, 빠른 운동에 대한 강력한 반응성을 보였다.
• 배경 잡음으로 인한 오류 탐지에도 불구하고, 이벤트 기반 가능도 모델 덕분에 시스템은 자가 운동 중에도 내성적인 성능 유지를 유지했다.
• 입자 간 통신 지연은 입자당 4.6μs 미만이었으며, CPU 기반 구현에서 관찰되는 계산 확장성과 비교해 현저히 낮았다.
• 240개의 ROI 필터 버텍스를 인스턴스화한 후, 단일 48칩 스파이너커 보드에서 입자 수를 500개 이상으로 확장했으며, 성능 저하가 최소한이었다.
• 주요 성능 저하 요인은 입자 간의 동기화였으며, 모든 입자가 서로를 기다려야 하는 점이, 완전히 독립적인 피드포워드 네트워크와는 다름을 보였다.