[논문 리뷰] Fully neuromorphic vision and control for autonomous drone flight

Federico Paredes-Vallés, Jesse J. Hagenaars외 4명|arXiv (Cornell University)|2023. 03. 15.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 실시간으로 200 Hz에서 작동하며, 1회 추론당 27 µJ의 에너지만 소비하는 인텔의 로이히 뉴로모픽 칩에서 실행되는, 자율 드론 비행을 위한 첫 번째 완전한 뉴로모픽 비전-제어 파이프라인을 제안한다. 이 시스템은 실제 이벤트 기반 카메라 데이터로 훈련된 스파iking 신경망(SNN)을 사용해 자가운동 추정을 수행하고, 제어 정책 학습을 위해 진화 알고리즘을 활용한다. 실세계 비행 실험을 통해 안정적인 멈춤, 착륙 및 횡방향 조작을 성공적으로 수행하였다.

ABSTRACT

Biological sensing and processing is asynchronous and sparse, leading to low-latency and energy-efficient perception and action. In robotics, neuromorphic hardware for event-based vision and spiking neural networks promises to exhibit similar characteristics. However, robotic implementations have been limited to basic tasks with low-dimensional sensory inputs and motor actions due to the restricted network size in current embedded neuromorphic processors and the difficulties of training spiking neural networks. Here, we present the first fully neuromorphic vision-to-control pipeline for controlling a freely flying drone. Specifically, we train a spiking neural network that accepts high-dimensional raw event-based camera data and outputs low-level control actions for performing autonomous vision-based flight. The vision part of the network, consisting of five layers and 28.8k neurons, maps incoming raw events to ego-motion estimates and is trained with self-supervised learning on real event data. The control part consists of a single decoding layer and is learned with an evolutionary algorithm in a drone simulator. Robotic experiments show a successful sim-to-real transfer of the fully learned neuromorphic pipeline. The drone can accurately follow different ego-motion setpoints, allowing for hovering, landing, and maneuvering sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic pipeline runs on board on Intel's Loihi neuromorphic processor with an execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per inference. These results illustrate the potential of neuromorphic sensing and processing for enabling smaller, more intelligent robots.

연구 동기 및 목표

• 자원 제약이 있는 비행 로봇에 에너지 효율적이고 저지연의 비전 및 제어 시스템을 구현하는 데 도전한다.
• 기존의 뉴로모픽 로봇 기술의 한계, 즉 제한된 네트워크 크기와 스파킹 신경망(SNN) 훈련의 어려움을 극복한다.
• 원시 이벤트 기반 시각 입력에서 저수준 제어 출력까지의 엔드 투 엔드 뉴로모픽 처리를 가능하게 한다.
• 실제 드론에서 완전한 뉴로모픽 제어 파이프라인의 시뮬레이션에서 실제 환경으로의 전이 성공을 입증한다.
• 자율 비행 작업을 위한 임베디드 뉴로모픽 하드웨어에서 실시간이고 에너지 효율적인 운영을 달성한다.

제안 방법

• 자기지도 학습을 사용하여 실제 이벤트 기반 카메라 데이터로 훈련된 다섯 층의 스파킹 신경망(SNN)을 사용해 자가운동 추정을 수행한다. 이 SNN은 28.8만 개의 뉴런을 가진다.
• 드론 시뮬레이터에서 진화 알고리즘을 사용하여 SNN 출력을 저수준 제어 동작으로 매핑하는 단일 디코딩 레이어를 훈련한다.
• 이벤트 데이터를 USB를 통해 DAVIS240C 카메라에서 스트리밍하여 인텔의 로이히 뉴로모픽 프로세서에 비전 및 제어 파이프라인을 구현한다.
• PX4 자율비행 펌웨어와 ROS 2를 통합하여 실시간 제어를 수행하고, 통신을 위해 ROS1-ROS2 브리지 사용.
• 이벤트를 UP 스퀘어드 싱글보드 컴퓨터에서 처리하고, 이전에 내림샘플링 및 자르기 작업을 수행한 후 로이히로 전송하여 SNN 추론을 수행한다.
• 실세계 비행 테스트 동안 위치 제어 및 안전장치로 옵티마크 모션 캡처 시스템을 통합한다.

실험 결과

연구 질문

• RQ1 이벤트 기반 시각과 스파킹 신경망을 사용하여 실질적인 이벤트 기반 데이터만으로 완전한 뉴로모픽 비전-제어 파이프라인을 훈련하고 구현할 수 있는가?
• RQ2 실제 이벤트 데이터에 기반한 자기지도 학습이 뉴로모픽 SNN에서 정확한 자가운동 추정을 얼마나 잘 가능하게 하는가?
• RQ3 진화 알고리즘이 시뮬레이션 환경에서 드론의 제어 정책을 효과적으로 학습하고, 뉴로모픽 하드웨어에서 실세계로의 성공적인 시뮬레이션-실세계 전이를 가능하게 하는가?
• RQ4 로이히와 같은 임베디드 뉴로모픽 프로세서에서 완전한 뉴로모픽 제어 파이프라인의 실시간 성능과 에너지 효율성은 어떠한가?
• RQ5 뉴로모픽 파이프라인이 요동을 동반하는 상태에서도 안정적이고 저지연의 제어를 통해 복잡한 조작, 예를 들어 멈춤, 착륙, 횡방향 비행을 성공적으로 수행할 수 있는가?

주요 결과

• 완전한 뉴로모픽 비전-제어 파이프라인은 실세계 실험에서 안정적인 성능을 보이며 자율 드론 비행을 성공적으로 구현하였다.
• 드론은 자가운동 설정값을 정확히 제어하여 요동을 동반하는 상태에서도 멈춤, 착륙 및 횡방향 조작을 성공적으로 수행하였다.
• 로이히 뉴로모픽 프로세서에서 200 Hz로 작동하며, 1회 추론당 27 µJ의 에너지만 소비하여 높은 에너지 효율성을 입증하였다.
• 제어 정책의 시뮬레이션-실세계 전이가 성공적으로 이루어졌으며, 진화 알고리즘 기반 제어기가 실제 하드웨어로의 일반화 능력이 뛰어났다.
• 나후쿠 보드(카포호 베이를 에뮬레이션)에서의 에너지 벤치마킹 결과, 낮은 전력 소비가 확인되었으며, 총 전력 소비는 주로 동적 및 실행 중 구성 요소에 의해 지배되었다.
• 고차원의 원시 이벤트 입력에도 불구하고 실시간 성능을 달성하여, 임베디드 플랫폼에서 엔드 투 엔드 뉴로모픽 제어의 실현 가능성을 입증하였다.