[논문 리뷰] Neuromorphic control for optic-flow-based landings of MAVs using the Loihi processor

Julien Dupeyroux, Jesse J. Hagenaars외 2명|arXiv (Cornell University)|2020. 11. 01.

Advanced Memory and Neural Computing참고 문헌 30인용 수 7

한 줄 요약

이 논문은 인텔의 로이히 칩을 사용하여 자율 마이크로 항공기(MAV) 착륙을 위한 첫 번째 완전 통합된 뉴모르픽 제어 시스템을 제시한다. 시뮬레이션에서 진화된 스파iking 신경망(SNN)이 광학 유속 분산에서 추력 명령을 계산하며, 로이히 하드웨어에서 거의 동일한 동작을 보이며 추력 설정값의 루트 평균 제곱 오차(RMSE)가 0.005g 이하이며, 스파이크 시퀀스 일치율이 99.8%에 도달하여 실제 로봇 응용 분야에서의 현실 갭을 성공적으로 해소한다.

ABSTRACT

Neuromorphic processors like Loihi offer a promising alternative to conventional computing modules for endowing constrained systems like micro air vehicles (MAVs) with robust, efficient and autonomous skills such as take-off and landing, obstacle avoidance, and pursuit. However, a major challenge for using such processors on robotic platforms is the reality gap between simulation and the real world. In this study, we present for the very first time a fully embedded application of the Loihi neuromorphic chip prototype in a flying robot. A spiking neural network (SNN) was evolved to compute the thrust command based on the divergence of the ventral optic flow field to perform autonomous landing. Evolution was performed in a Python-based simulator using the PySNN library. The resulting network architecture consists of only 35 neurons distributed among 3 layers. Quantitative analysis between simulation and Loihi reveals a root-mean-square error of the thrust setpoint as low as 0.005 g, along with a 99.8% matching of the spike sequences in the hidden layer, and 99.7% in the output layer. The proposed approach successfully bridges the reality gap, offering important insights for future neuromorphic applications in robotics. Supplementary material is available at https://mavlab.tudelft.nl/loihi/.

연구 동기 및 목표

• 시뮬레이션된 뉴모르픽 SNN과 실물 하드웨어 구현 간의 현실 갭을 해소하기 위해.
• 뉴모르픽 컴퓨팅을 활용해 에너지 효율적이고 내구성 있는 광학 유속 기반 착륙을 가능하게 하기 위해.
• 실시간 제어를 위한 비행 로봇에서 로이히 뉴모르픽 프로세서를 처음으로 완전히 임베디드한 응용을 보여주기 위해.
• 진화된 SNN이 시뮬레이션(PySNN)에서 로이히 하드웨어로 이행될 때도 높은 행동 유사성을 유지하는지 검증하기 위해.
• 향후 제한된 플랫폼인 MAV와 같은 뉴모르픽 로봇에 적용 가능한 확장성 있고 저전력의 제어 프레임워크를 제공하기 위해.

제안 방법

• 진화 알고리즘을 사용해 파이썬 기반 시뮬레이터(PySNN)에서 광학 유속 분산을 추력 명령으로 매핑하는 스파킹 신경망(SNN)을 최적화하였다.
• SNN 아키텍처는 3개의 레이어에 걸쳐 총 35개의 뉴런으로 구성되었으며, 복잡도를 최소화하면서도 후면 광학 유속 분산에 기반한 부드러운 추력 설정값을 생성하도록 설계되었다.
• 진화된 SNN는 로이히 뉴모르픽 프로세서의 파이썬 API를 사용해 직접 배포되어 실시간 이벤트 기반 추론이 가능해졌다.
• 루트 평균 제곱 오차(RMSE)와 스파이크 일치도 지표를 사용해 PySNN 시뮬레이션과 로이히 하드웨어 간의 스파이크 시퀀스 일관성과 추력 출력을 정량적으로 비교하였다.
• 드론의 위치와 속도를 추적하기 위해 옵티트랙 시스템을 사용해 실세계 착륙 테스트를 실시하였으며, 네트워크 입력, 출력 및 스파이크 데이터를 기록해 분석하였다.
• 정규성과 스파이크 분포의 동등성을 검증하기 위해 콜모고로프-스미르노프 검정(Kolmogorov-Smirnov)을 사용하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 진화된 뉴모르픽 SNN 컨트롤러가 실물 비행 로봇의 로이히 하드웨어에 배포되었을 때 거의 동일한 동작을 보일 수 있는가?
• RQ2 실세계 MAV 제어 작업에서 시뮬레이션(PySNN)과 칩 내부(Loihi)의 스파이크 시퀀스 및 추력 출력 간의 유사도는 어느 정도인가?
• RQ3 시뮬레이션과 하드웨어 간의 현실 갭은 SNN 기반 제어의 자율 MAV 착륙 성능에 어떤 영향을 미치는가?
• RQ4 로이히 프로세서는 실시간 비행 제어에서 소형 SNN(35개 뉴런)의 행동 일관성을 어느 정도 유지하는가?
• RQ5 뉴모르픽 컨트롤러는 최소한의 계산 및 에너지 오버헤드로 4미터 높이에서 안정적이고 일관된 자율 착륙을 달성할 수 있는가?

주요 결과

• PySNN 시뮬레이션과 로이히 하드웨어 구현 간의 추력 설정값 시퀀스 간 루트 평균 제곱 오차(RMSE)는 단지 0.0050 ± 0.0069 g에 불과하여 거의 완벽한 동일성을 나타낸다.
• 숨겨진 레이어의 스파이크 시퀀스 일치율은 99.8% ± 0.3%이며, 출력 레이어는 99.7% ± 0.7%였으며, 변동 계수는 각각 최소 0.003과 0.007에 불과했다.
• 로이히에서 은닉 레이어의 평균 스파이크 인플랫(충전) 비율은 6.0%였고, 출력 레이어는 10.6%였으며, PySNN와 로이히 간 분포에 통계적으로 유의미한 차이가 없었다(p = 1.00, 콜모고로프-스미르노프 검정).
• 실세계 착륙 테스트(N=20)에서는 일관된 성능을 보였으며, 4.0m 고도에서 모든 착륙이 6~8초 내에 부드럽게 완료되었고, 평균 출력 레이어 인플랫 비율은 13.6% ± 0.9%였다.
• 로이히에서 SNN 타임스텝당 평균 실행 시간은 단지 3.78 ± 0.07 µs에 불과하여 실시간 제어에 적합한 높은 계산 효율성을 보였다.
• 실세계에서 브레이킹 추력 적용 시 약간의 지연이 관찰되었지만(예: 시뮬레이션에서 t=4s, 실제에서 t=7s), 모든 테스트 런에서 전체 제어 동작은 강력하고 일관되게 유지되었다.