[논문 리뷰] Vision-Based Autonomous UAV Navigation and Landing for Urban Search and Rescue

Mayank Mittal, Rohit Mohan외 2명|arXiv (Cornell University)|2019. 06. 04.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 13

한 줄 요약

이 논문은 사전 지도 또는 인프라 없이 도시 재난 구조(USAR) 환경에서 비침습적 UAV 자율 주행을 가능하게 하며, 새로운 costmap 기반의 착륙지점 탐지 알고리즘을 통해 파편 더미 위에 안정적으로 착륙할 수 있는 시각 기반 자율 UAV 시스템을 제시한다. 시스템은 실시간 상태 추정, 3D 맵핑, 최소-자지 경로 계획을 통합하여 임베디드 하드웨어에서 온라인으로 운영되며, 프레임당 총 계산 시간이 173.4±59.2 ms이며, 지도상 깊이, 노말, 의미론, 자세를 지닌 120만 장의 이미지로 구성된 합성 데이터셋을 제공한다.

ABSTRACT

Unmanned Aerial Vehicles (UAVs) equipped with bioradars are a life-saving technology that can enable identification of survivors under collapsed buildings in the aftermath of natural disasters such as earthquakes or gas explosions. However, these UAVs have to be able to autonomously navigate in disaster struck environments and land on debris piles in order to accurately locate the survivors. This problem is extremely challenging as pre-existing maps cannot be leveraged for navigation due to structural changes that may have occurred. Furthermore, existing landing site detection algorithms are not suitable to identify safe landing regions on debris piles. In this work, we present a computationally efficient system for autonomous UAV navigation and landing that does not require any prior knowledge about the environment. We propose a novel landing site detection algorithm that computes costmaps based on several hazard factors including terrain flatness, steepness, depth accuracy, and energy consumption information. We also introduce a first-of-a-kind synthetic dataset of over 1.2 million images of collapsed buildings with groundtruth depth, surface normals, semantics and camera pose information. We demonstrate the efficacy of our system using experiments from a city scale hyperrealistic simulation environment and in real-world scenarios with collapsed buildings.

연구 동기 및 목표

• 사전 지도 또는 인프라 없이 재해 후 환경에서 UAV의 자율 주행과 안전한 착륙을 가능하게 하기 위해.
• 기존의 마커나 평면성 기반 방법이 실패하는 비정형적이며 불안정한 파편 더미에서 안전한 착륙지점 탐지를 해결하기 위해.
• 임베디드 하드웨어에서 실시간 운영이 가능한 계산 효율성이 높은 온라인 시스템을 개발하기 위해.
• 생체 레이더 기반 생존자 탐지 지원을 위해 UAV가 파편 위에 안정적으로 착륙하여 정확한 신호 측정을 가능하게 하기 위해.
• 재난 시뮬레이션을 위해 지도상 깊이, 노말, 의미론, 카메라 자세를 지닌 첫 번째이자 유일한 합성 데이터셋 120만 장을 구축하기 위해.

제안 방법

• 시스템은 실시간으로 환경의 텍스처가 있는 고밀도 3D 맵을 구축하기 위해 TSDF 기반 3D 재구성 알고리즘을 사용한다.
• 새로운 착륙지점 탐지 알고리즘은 깊이 정확도, 지형 평탄도, 기울기, 에너지 소비의 네 가지 costmap을 계산하고, 이를 최종 의사결정 맵으로 융합한다.
• 최종 costmap에 임계값을 적용하여 고밀도의 후보 착륙지점 탐지 후, k-d 트리를 사용해 중복 제거를 수행한다.
• 클러스터링 기반 글로벌 최적화는 공간 일관성과 위험 요소를 고려하여 국소 후보 착륙지점을 안전한 착륙 영역으로 그룹화한다.
• 최소-자지 경로 계획기(플래너)는 장애물을 피하면서 선택된 착륙지점으로 부드럽고 동적 환경을 고려한 경로를 생성한다.
• 전체 파이프라인(상태 추정, 맵핑, 착륙지점 탐지)은 임베디드 인텔 코어 i7-8750H CPU에서 온라인으로 작동하며, 프레임당 173.4±59.2 ms의 계산 시간을 기록한다.

실험 결과

연구 질문

• RQ1 사전 지도나 마커 없이 비정형적이며 불안정한 파편 더미에서 UAV가 어떻게 안전한 착륙지점을 자율적으로 탐지할 수 있는가?
• RQ2 깊이 신뢰도, 평탄도, 기울기, 에너지 비용 등의 시각적 위험 요소 조합 중 어떤 조합이 재해 후 환경에서 신뢰할 수 있는 착륙지점 탐지에 기여하는가?
• RQ3 실시간 3D 재구성과 온라인 착륙지점 탐지 기능을 갖춘 시각 기반 시스템이 저전력 임베디드 하드웨어에 효율적으로 구현되어 USAR 임무 중 실시간 운영이 가능한가?
• RQ4 생체 레이더 센서의 통합은 붕괴된 구조물 내에서 UAV의 착륙 및 주행 전략에 어떤 영향을 미치는가?
• RQ5 지도상 깊이, 노말, 의미론, 자세를 지닌 120만 장의 이미지로 구성된 합성 데이터셋이 USAR를 위한 자율 UAV 시스템의 훈련 및 평가에 얼마나 기여하는가?

주요 결과

• 착륙지점 탐지 시스템은 임베디드 인텔 코어 i7-8750H CPU에서 프레임당 총 계산 시간이 173.4±59.2 ms로 실시간 온라인 운영이 가능하다.
• 지형 평탄도 costmap 계산은 Canny 에지 맵에 의존하는 거리 변환에 의해 높은 분산(91.7±38.8 ms)을 보이며, 이는 이미지 콘텐츠에 따라 달라진다.
• 글로벌 착륙지점 선택을 위한 클러스터링 단계는 125.5±100.3 ms 소요되며, 후보 지점 수가 증가함에 따라 안정화되어 일관된 성능을 보인다.
• 시스템은 하이퍼리얼리스틱 도시 규모 시뮬레이션과 실제 붕괴된 건물 환경에서 모두 자율 주행 및 착륙을 성공적으로 시연하였다.
• 제안된 합성 데이터셋은 지도상 깊이, 표면 노말, 의미 분할, 카메라 자세를 지닌 120만 장 이상의 RGB 이미지를 포함하며, 강력한 훈련 및 평가를 가능하게 한다.
• 생체 레이더 호환 착륙 통합으로 생존자 정확한 탐지가 가능해졌으며, UAV가 이제 파편 위에 안정적으로 착륙하여 신호 측정이 가능해졌다.