[논문 리뷰] Robust and Efficient Depth-based Obstacle Avoidance for Autonomous Miniaturized UAVs

Hanna Müller, Vlad Niculescu외 3명|arXiv (Cornell University)|2022. 08. 26.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 나노 드론을 위한 경량이며 차량 내 장착형 장애물 회피 시스템을 제안한다. 이 시스템은 고유의 64픽셀 다중영역 시간 간격 측정(ToF) 센서와 모델 기반 제어 정책을 사용하며, 비알고리즘 기반의 제어 정책을 통해 0.5 m/s 속도에서 100%의 신뢰성을 달성한다. 이는 CPU 사용률이 0.3% 이하이며 총 드론 전력의 10% 미만으로 작동하여, 캐리플리 2.1과 같은 자원 제약이 있는 플랫폼에서도 자율 비행을 가능하게 한다.

ABSTRACT

Nano-size drones hold enormous potential to explore unknown and complex environments. Their small size makes them agile and safe for operation close to humans and allows them to navigate through narrow spaces. However, their tiny size and payload restrict the possibilities for on-board computation and sensing, making fully autonomous flight extremely challenging. The first step towards full autonomy is reliable obstacle avoidance, which has proven to be technically challenging by itself in a generic indoor environment. Current approaches utilize vision-based or 1-dimensional sensors to support nano-drone perception algorithms. This work presents a lightweight obstacle avoidance system based on a novel millimeter form factor 64 pixels multi-zone Time-of-Flight (ToF) sensor and a generalized model-free control policy. Reported in-field tests are based on the Crazyflie 2.1, extended by a custom multi-zone ToF deck, featuring a total flight mass of 35g. The algorithm only uses 0.3% of the on-board processing power (210uS execution time) with a frame rate of 15fps, providing an excellent foundation for many future applications. Less than 10% of the total drone power is needed to operate the proposed perception system, including both lifting and operating the sensor. The presented autonomous nano-size drone reaches 100% reliability at 0.5m/s in a generic and previously unexplored indoor environment. The proposed system is released open-source with an extensive dataset including ToF and gray-scale camera data, coupled with UAV position ground truth from motion capture.

연구 동기 및 목표

• 최소한의 차량 내 계산 및 전력 소비로 나노-UAV의 완전 자율 실내 항법을 가능하게 한다.
• 작은 크기와 낮은 전력 소비 센서를 사용하여 미지의 복잡한 실내 환경에서 신뢰할 수 있는 장애물 회피 문제를 해결한다.
• 크기, 무게, 전력(SWaP) 제약 조건 내에서 센서 노이즈, 조도 변화, 운동 흐림에 강건한 인식 파이프라인을 개발한다.
• 미래 확장(예: 센서 융합 또는 고급 인식)을 위한 충분한 계산 및 에너지 여유를 확보한 시스템을 구축한다.
• 향후 연구를 지원하기 위해 ToF, 카메라, 실제 운동 캡처 데이터를 포함한 오픈소스 데이터셋을 제공한다.

제안 방법

• 캐리플리 2.1 나노 드론에 고유의 다중영역 ToF 덱(64픽셀, 8×8) 깊이 센서를 장착하여 총 질량에 35g만 추가한다.
• 사전 학습된 신경망이나 환경에 특화된 재학습이 필요 없는 모델 기반 제어 정책을 사용하여 깊이 데이터를 직접 처리한다.
• 모든 인식 및 제어 논리를 STM32F405 마이크로컨트롤러에 구현하여 처리 능력의 0.31%만 사용하고, 프레임당 실행 지연 시간은 210 µs를 달성한다.
• 전력 소비를 최소화하면서도 15 fps로 시스템을 운영하며, 리프팅 및 센서 작동을 포함해 총 드론 전력의 10% 미만을 소비한다.
• 상태 추정을 위해 관성 측정 장치(IMU)와 플로우 덱을 통합하고, ToF 센서를 통해 전방 깊이 인식을 제공하여 장애물 회피를 수행한다.
• ToF 거리 측정의 내재적 안정성과 공간 필터링에 의존하여 센서 노이즈, 운동 흐림, 조도 변화에 강건한 설계를 한다.

실험 결과

연구 질문

• RQ1 비알고리즘 기반의 제어 정책을 사용할 때, 외부 계산 없이도 작고 낮은 전력 소비 깊이 센서가 미지의 실내 환경에서 나노-UAV의 신뢰할 수 있는 장애물 회피를 가능하게 할 수 있는가?
• RQ2 낮은 차원의 깊이 입력(64픽셀)을 사용하면서도 높은 신뢰성과 낮은 계산 비용을 유지할 수 있는 모델 기반 제어 정책을 어떻게 설계할 수 있는가?
• RQ3 나노 드론의 엄격한 크기 및 전력 제약 조건 내에서 경량 인식 시스템이 얼마나 오랫동안 작동할 수 있으며, 향후 확장에 여유를 확보할 수 있는가?
• RQ4 이러한 시스템이 인프라 지원 없이도 다양한 비정형 실내 환경에서 낮은 속도(예: 0.5 m/s)에서 100%의 신뢰성을 달성할 수 있는가?
• RQ5 전통적인 단일 빔 또는 시각 기반 시스템과 비교했을 때, 다중영역 ToF 센서의 통합은 나노 드론의 신뢰성 및 에너지 효율성 측면에서 어떤가?

주요 결과

• 여러 테스트 런에서 새로운 실내 사무실 환경을 0.5 m/s 속도로 자율 비행한 결과, 충돌 기록 없이 100%의 신뢰성을 확보했다.
• 인식 및 제어 파이프라인은 차량 내 STM32F405 마이크로컨트롤러의 처리 능력의 0.31%만 소비했으며, 프레임당 지연 시간은 210 µs였다.
• ToF 센서 및 관련 전자기기의 총 전력 소비는 드론의 총 10 W 전력 예산의 10% 미만이었으며, 이는 약 7분의 비행 시간을 가능하게 했다.
• 실제 실내 테스트에서 최대 212미터의 거리를 성공적으로 항행하여 시스템의 확장성과 강건성을 입증했다.
• 오픈소스 데이터셋은 동기화된 ToF, Grayscale 카메라 및 운동 캡처 기반 참값 데이터를 포함하여 향후 나노-UAV 자율주행 연구를 지원한다.
• ST마이크로일렉트로닉스에서 제공한 고유의 64픽셀 다중영역 ToF 센서는 형상, 정밀도, 픽셀 수 측면에서 유사한 상용 솔루션 중 최초로 출시된 것으로, 저전력에서 효율적인 깊이 인식을 가능하게 했다.