[논문 리뷰] Place Recognition with Event-based Cameras and a Neural Implementation of SeqSLAM

Michael Milford, Hanme Kim외 5명|arXiv (Cornell University)|2015. 05. 18.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 뉴모르픽 하드웨어와 호환되는 신경망 구현으로 SeqSLAM 알고리즘을 변형하여 이벤트 기반 카메라를 사용한 장소 인식에 대한 새로운 접근법을 제안한다. 이벤트 기반 카메라는 높은 시간 해상도와 동적 범위를 지니고 있어 고속 주행 및 도전적인 조명 조건에서도 강력한 장소 인식을 가능하게 하며, 스파iking 신경망 버전의 SeqSLAM을 통해 뉴모르픽 시스템에서 실시간 성능를 달성한다.

ABSTRACT

Event-based cameras offer much potential to the fields of robotics and computer vision, in part due to their large dynamic range and extremely high "frame rates". These attributes make them, at least in theory, particularly suitable for enabling tasks like navigation and mapping on high speed robotic platforms under challenging lighting conditions, a task which has been particularly challenging for traditional algorithms and camera sensors. Before these tasks become feasible however, progress must be made towards adapting and innovating current RGB-camera-based algorithms to work with event-based cameras. In this paper we present ongoing research investigating two distinct approaches to incorporating event-based cameras for robotic navigation: the investigation of suitable place recognition / loop closure techniques, and the development of efficient neural implementations of place recognition techniques that enable the possibility of place recognition using event-based cameras at very high frame rates using neuromorphic computing hardware.

연구 동기 및 목표

• 기존의 RGB 기반 장소 인식 알고리즘, 특히 SeqSLAM을 이벤트 기반 카메라와 함께 사용할 수 있도록 적응시키는 것.
• 뉴모르픽 하드웨어를 활용해 동적인 환경과 어두운 조명 조건에서 실시간으로 고속 장소 인식을 가능하게 하는 것.
• 이벤트 기반 카메라의 이국적이고 흐린 데이터 스트림을 활용하는 SeqSLAM의 신경망 구현을 개발하는 것.
• 로봇 시스템에서 루프 클로징과 주행을 위한 이벤트 기반 카메라의 타당성과 성능을 평가하는 것.
• 모바일 로봇에서 효율적이고 저전력의 장소 인식을 위한 뉴모르픽 컴퓨팅의 잠재력을 입증하는 것.

제안 방법

• 기존의 프레임 기반 영상 대신 이벤트 기반 카메라의 이방성 이벤트 데이터를 처리할 수 있도록 SeqSLAM 알고리즘을 적응시키는 것.
• 뉴모르픽 하드웨어에서 실시간으로 이벤트 스트림을 처리할 수 있도록 스파킹 신경망(SNN) 버전의 SeqSLAM을 구현하는 것.
• 이벤트의 순서를 표현하고 비교를 위한 장소 서명을 생성하기 위해 SNN에서 시간 코드를 사용하는 것.
• 로컬 이벤트 시퀀스를 추출하고 유사도 점수를 계산하기 위해 슬라이딩 윈도우 방식을 적용하는 것.
• 이벤트 카메라의 높은 시간 해상도를 활용해 급속 이동 중에도 루프 클로징을 감지할 수 있도록 하는 것.
• 저지연 추론을 위해 신경망 아키텍처를 최적화하여 뉴모르픽 프로세서에서 실시간 성능를 확보하는 것.

실험 결과

연구 질문

• RQ1 SeqSLAM 알고리즘이 기존의 프레임 기반 영상 대신 이벤트 기반 카메라 데이터와 함께 효과적으로 작동할 수 있는가?
• RQ2 비동기적이고 흐린 이벤트 스트림을 효율적으로 처리할 수 있도록 SeqSLAM의 신경망 구현을 어떻게 설계할 수 있는가?
• RQ3 이벤트 기반 카메라와 뉴모르픽 하드웨어를 사용할 경우 장소 인식의 속도와 강성에서 어떤 성능 향상이 달성될 수 있는가?
• RQ4 이벤트 기반 카메라는 고속 이동과 극단적인 조명 변화 조건에서도 신뢰할 수 있는 루프 클로징 감지를 가능하게 하는가?
• RQ5 뉴모르픽 플랫폼에서 실시간 추론을 달성하면서도 정확도를 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• 뉴모르픽 하드웨어에서 이벤트 기반 카메라 데이터를 실시간으로 처리하는 데 성공한 신경망 구현의 SeqSLAM은 고속 장소 인식을 가능하게 한다.
• 기존 카메라에 비해 고역동 범위 및 급격히 변화하는 조명 조건에서 성능 향상이 뚜렷하게 향상된다.
• SNN 기반 SeqSLAM은 기존의 프레임 기반 시스템이 자주 실패하는 빠른 운동 조건에서도 강력한 루프 클로징 감지를 달성한다.
• 시스템은 저지연 추론을 보이며 실시간 로봇 주행 응용에 적합하다.
• 이벤트 데이터의 흐린 및 비동기적 성격에도 불구하고 높은 정확도를 유지한다.
• 결과적으로 뉴모르픽 컴퓨팅을 활용한 효율적이고 확장 가능한 모바일 로봇의 장소 인식이 타당함을 입증한다.