[논문 리뷰] Visual-based Safe Landing for UAVs in Populated Areas: Real-time Validation in Virtual Environments

Hector Tovanche-Picon, Javier Antonio Gonzalez-Trejo외 2명|arXiv (Cornell University)|2022. 03. 25.

Robotic Path Planning Algorithms참고 문헌 14인용 수 4

한 줄 요약

이 논문은 실시간 가상 환경 기반 프레임워크를 제안하며, Unreal Engine와 AirSim을 사용하여 인구 밀도가 높은 도시 지역에서 시각 기반 무인 항공기(UAV) 자율 착륙을 평가한다. 두 가지 SLZ 선택 전략—가장 오래된 및 가장 큰 착륙 구역—을 비교하여, 가장 오래된 SLZ 전략이 역동적이고 움직이는 사람들이 있는 상황에서 최대 86%의 성공률을 기록함으로써 부상 위험을 크게 감소시킴을 입증한다.

ABSTRACT

Safe autonomous landing for Unmanned Aerial Vehicles (UAVs) in populated areas is a crucial aspect for successful urban deployment, particularly in emergency landing situations. Nonetheless, validating autonomous landing in real scenarios is a challenging task involving a high risk of injuring people. In this work, we propose a framework for real-time safe and thorough evaluation of vision-based autonomous landing in populated scenarios, using photo-realistic virtual environments. We propose to use the Unreal graphics engine coupled with the AirSim plugin for drone's simulation, and evaluate autonomous landing strategies based on visual detection of Safe Landing Zones (SLZ) in populated scenarios. Then, we study two different criteria for selecting the "best" SLZ, and evaluate them during autonomous landing of a virtual drone in different scenarios and conditions, under different distributions of people in urban scenes, including moving people. We evaluate different metrics to quantify the performance of the landing strategies, establishing a baseline for comparison with future works in this challenging task, and analyze them through an important number of randomized iterations. The study suggests that the use of the autonomous landing algorithms considerably helps to prevent accidents involving humans, which may allow to unleash the full potential of drones in urban environments near to people.

연구 동기 및 목표

• 실제 실험에서 높은 안전 위험이 존재하므로, 인구 밀도가 높은 도시 지역에서 시각 기반 자율 UAV 착륙을 위한 안전하고 실시간 평가 프레임워크를 개발한다.
• 사람 주변에서의 안전한 비상 착륙을 확보하기 위해, 동적 인간 존재가 있는 시뮬레이션된 도시 환경에서 자율 착륙 전략을 평가하는 데 도전한다.
• 다양한 조건에서 안정성과 성능을 평가하기 위해, 안전 착륙 구역(SLZ) 선택 기준—특히 가장 오래된 SLZ 대비 가장 큰 SLZ—을 비교한다.
• 다양한 메트릭을 기반으로 한 정량적 기준을 설정하여 향후 연구를 위한 기초 자료를 제공한다. 메트릭에는 성공률, 사람과의 평균 거리, 경고 기준(1m 및 1.5m), IoU(교차 영역 비율), SLZ 면적 등이 포함된다.

제안 방법

• Unreal Engine에 AirSim 플러그인을 통합하여 UAV 시뮬레이션을 위한 사진 수준의 정확도를 갖춘 물리 기반 가상 도시 환경을 생성한다.
• 비행기 영상에서 군중과 착륙 구역을 실시간으로 감지하기 위해 경량 딥 네트워크(DNN)를 활용한 시각 기반 SLZ 감지 시스템을 구현한다.
• 두 가지 SLZ 선택 전략을 적용한다: 시간적 일관성 기반으로 가장 오래된 이용 가능한 SLZ 선택, 면적 최대화 기반으로 가장 큰 이용 가능한 SLZ 선택.
• 정적 및 동적 시나리오를 포함한 900회 이상의 랜덤 시뮬레이션 반복을 수행하며, 이는 이동하는 보행자와 악천후 조건을 포함한다.
• 성능을 정량화하기 위해 성공률, 평균 최접근 거리, 경고 기준(1m 및 1.5m), IoU, SLZ 면적 등의 메트릭을 사용한다.
• 시각적 노이즈와 센서 성능 저하에 대한 알고리즘의 내성 평가를 위해 악천후 조건(먼지, neblina, 비, 눈) 하에서의 내성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 실제 동적 조건에서 시각 기반 자율 착륙 시스템은 인구 밀도가 높은 도시 환경에서 인간의 부상 위험을 얼마나 효과적으로 줄일 수 있는가?
• RQ2 움직이는 보행자가 있는 상황에서 가장 오래된 SLZ 전략과 가장 큰 SLZ 전략 중 어느 것이 더 높은 성공률과 더 나은 안전 마진을 제공하는가?
• RQ3 시나리오 인구의 10%와 20% 비율로 이동하는 인물이 존재할 경우 자율 착륙 전략의 성능에 어떤 영향을 미치는가?
• RQ4 비, 눈, dense 안개와 같은 악천후 조건에서의 시각적 열화에 대해 제안된 프레임워크는 어느 정도 내성적인가?
• RQ5 역동적 환경에서 SLZ 크기와 안전성 간의 상충 관계는 무엇이며, 하이브리드 비용 함수는 성능 향상에 기여할 수 있는가?

주요 결과

• 가장 오래된 SLZ 전략은 정적 시나리오에서 97%의 성공률을 기록하여 무작위 착륙(59%)보다 뚜렷이 뛰어나며, 높은 내성성을 보였다.
• 20%의 이동 보행자가 있는 동적 시나리오에서 가장 오래된 SLZ 전략은 84%의 성공률을 유지했고, 가장 큰 SLZ 전략은 76%로 떨어져, 동적 인간 이동에 대한 뛰어난 내성성을 입증했다.
• 20% 이동 보행자 시나리오에서 가장 오래된 SLZ 전략은 평균 최접근 거리를 1.58m로 줄여, 고밀도 인간 지역을 효과적으로 회피함을 시사했다.
• 가장 큰 SLZ 전략은 10% 이동 보행자 상황에서 평균 면적 9.079 m²를 제공하여 가장 오래된 SLZ(4.5996 m²)보다 더 큰 착륙 구역을 제공했지만, 동적 환경에서는 더 높은 위험을 수반했다.
• 프레임워크는 악천후 조건에서도 내성성을 입증했으며, 가장 오래된 SLZ 전략은 악조건에서도 86%의 성공률을 유지해 시각적 노이즈에 대한 내성성을 보였다.
• 상충 관계가 관찰되었으며, 더 큰 SLZ는 더 많은 공간을 제공하지만 동적 환경에서는 더 위험하다. 따라서 크기와 시간적 안정성의 다중 목표 비용 함수를 통합하면 안전성과 성능을 최적화할 수 있다.