[논문 리뷰] Robust Vision-based Obstacle Avoidance for Micro Aerial Vehicles in Dynamic Environments

Jiahao Lin, Hai Zhu외 1명|arXiv (Cornell University)|2020. 02. 12.

Robotic Path Planning Algorithms참고 문헌 26인용 수 6

한 줄 요약

이 논문은 스테레오 영상 심도 측정과 확률적 제약이 있는 모델 예측 제어(CC-MPC)를 사용하여 동적 환경에서 마이크로 항공기(MAV)를 위한 실시간 온보드 시각 기반 장애물 회피 시스템을 제안한다. 이 시스템은 심도 영상에서 움직이는 장애물을 3차원 타원체로 감지하고 추적하며, 위치, 속도 및 불확실성을 추정하고, CC-MPC를 통해 충돌 확률을 지정된 임계값 이하로 유지하는 강건한 동역학적으로 타당한 경로를 생성한다. 이는 2.4 m/s 속도에서 8 ms의 장애물 처리 시간과 16 ms의 MPC 실행 시간을 기록하며, 리소스가 제한된 멀티로터에서 실시간 성능을 달성한다.

ABSTRACT

In this paper, we present an on-board vision-based approach for avoidance of moving obstacles in dynamic environments. Our approach relies on an efficient obstacle detection and tracking algorithm based on depth image pairs, which provides the estimated position, velocity and size of the obstacles. Robust collision avoidance is achieved by formulating a chance-constrained model predictive controller (CC-MPC) to ensure that the collision probability between the micro aerial vehicle (MAV) and each moving obstacle is below a specified threshold. The method takes into account MAV dynamics, state estimation and obstacle sensing uncertainties. The proposed approach is implemented on a quadrotor equipped with a stereo camera and is tested in a variety of environments, showing effective on-line collision avoidance of moving obstacles.

연구 동기 및 목표

• 온보드 시각 센서만을 사용하여 동적 환경에서의 안전하고 실시간 항법을 가능하게 하기 위해 마이크로 항공기(MAV)를 위한 시스템을 개발한다.
• 강력한 충돌 방지를 위해 장애물 감지 및 MAV 상태 추정에서 발생하는 센서 및 상태 추정 불확실성을 다루는 데 목적이 있다.
• 자원이 제한된 MAV에서 실시간 운영을 위해 장애물 감지, 상태 추정 및 경로 계획을 통합한 계산적으로 효율적인 온보드 시스템을 개발한다.
• 사용자가 정의한 임계값 이하로 충돌 확률을 제한하는 조건부 제약 조건을 설정하여 확률적 안전성을 확보한다.

제안 방법

• 시스템은 스테레오 카메라 데이터를 이용해 심도 영상과 U-심도 지도를 생성하여 장애물 감지 및 추적을 수행한다.
• 장애물은 3차원 타원체로 모델링되며, 매 60 Hz에서 실행되는 빠른 온보드 알고리즘을 통해 위치, 속도 및 불확실성을 추정한다.
• 시각-자이로스코픽 오도메트리(VIO)는 MAV의 자세와 불확실성 추정치를 제공하며, 이는 장애물 상태 추정치와 통합된다.
• 확률적 제약이 있는 모델 예측 제어기(CC-MPC)는 MAV 및 장애물 상태 추정 불확실성을 고려한 동역학적으로 타당한 경로를 생성하기 위해 제작된다.
• CC-MPC는 최적화 과정에서 불확실성 공분산을 통합하여, 어떤 움직이는 장애물과의 충돌 확률이 지정된 임계값 이하로 유지되도록 보장한다.
• 장애물 감지, 추적 및 MPC를 포함한 전체 파이프라인은 계산 자원이 제한된 멀티로터에 구현되었으며, 실시간 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 온보드 스테레오 비전만을 사용하여 실시간으로 움직이는 장애물을 정확하게 감지하고 추적할 수 있는가?
• RQ2 장애물 센서 및 MAV 상태 추정의 불확실성을 효과적으로 모델링하고, 강력한 충돌 방지를 위한 경로 계획기에 통합할 수 있는가?
• RQ3 확률적 제약이 있는 모델 예측 제어기(CC-MPC)는 불확실성을 고려하면서도 마이크로 항공기에서 실시간 성능을 유지하면서 안전하고 동역학적으로 타당한 경로를 생성할 수 있는가?
• RQ4 실제 동적 환경에서 움직이는 인간이 존재할 경우, 최소 간격과 실행 시간 측면에서 어떤 수준의 성능와 안전성을 달성할 수 있는가?

주요 결과

• 장애물 감지 및 추적 알고리즘은 프레임당 평균 8 ms의 계산 시간을 기록하여 60 Hz에서 실시간 운영이 가능했다.
• CC-MPC 프레임워크는 제어 사이클당 평균 16 ms의 실행 시간을 기록하여 온보드 프로세서에서 실시간 실행이 가능했다.
• 두 명의 걷는 인간(약 1.2 m/s 속도)이 존재하는 실험에서 시스템은 최소 0.4 m의 안전 간격을 유지하며 모든 충돌을 피했다.
• 움직이는 장애물의 위치 추정 오차는 평균 0.28–0.25 m였으며, 속도 추정 오차는 최대 0.5 m/s였으며, 이는 불확실성 인식 제어의 필요성을 확인한다.
• 정적 및 동적 장애물이 존재하는 좁은 복도에서 MAV는 최대 2.4 m/s 속도로 안정적으로 비행하여 복잡한 환경에서의 강건성을 입증했다.
• 장애물 감지 및 추적에 대해 75% 분위기 실행 시간은 8 ms 이하였고, MPC는 22 ms 이하였으며, 이는 실시간 실행 가능성의 확인이다.