[논문 리뷰] Autonomous Aerial Robotic Surveying and Mapping with Application to Construction Operations

Huan Nguyen, Frank Mascarich외 2명|arXiv (Cornell University)|2020. 05. 09.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 8

한 줄 요약

이 논문은 LiDAR, 가시광선 및 열화상 영상과 관성측정을 융합한 GPS 불가능 환경에서의 다중 모odal 3D 매핑 및 재고 추적을 가능하게 하는 자율 항공 로봇 시스템인 로봇화된 공사현장 측량기(RCSS)를 제시한다. 시스템은 사전 지식 없이도 고정밀 3D 지ap을 자동 생성하고, 재고 관리 목적의 관심 대상 물체를 탐지 및 위치 추적하며, 실제 공사현장 및 실내 환경에서 검증되었으며, 노출된 목조 구조물의 정확한 거리 재구성 결과를 도출하였다.

ABSTRACT

In this paper we present an overview of the methods and systems that give rise to a flying robotic system capable of autonomous inspection, surveying, comprehensive multi-modal mapping and inventory tracking of construction sites with high degree of systematicity. The robotic system can operate assuming either no prior knowledge of the environment or by integrating a prior model of it. In the first case, autonomous exploration is provided which returns a high fidelity $3 extrm{D}$ map associated with color and thermal vision information. In the second case, the prior model of the structure can be used to provide optimized and repetitive coverage paths. The robot delivers its mapping result autonomously, while simultaneously being able to detect and localize objects of interest thus supporting inventory tracking tasks. The system has been field verified in a collection of environments and has been tested inside a construction project related to public housing.

연구 동기 및 목표

• 복잡한 GPS 불가능 공사현장에서 체계적인 3D 매핑 및 점검이 가능한 자율 항공 로봇 시스템을 개발하는 것.
• 사전 환경 지식이 없는 상황에서의 자율 탐색과 사전 구조 모델을 활용한 최적화된 점검을 모두 가능하게 하는 것.
• 저조도 조건에서의 정밀 국소화 및 매핑을 위해 LiDAR, 가시광선, 열화상, 관성측정장치(IMU)를 융합한 다중 모달 센서 통합.
• 실시간 3D 지ap 내에서 관심 있는 물체를 탐지 및 위치 추적함으로써 자동 재고 추적을 지원하는 것.
• 실제 공사현장 및 실내 환경에서의 시스템 검증을 통해 블루프린트가 없는 복잡한 목조 구조물의 정확한 거리 재구성 능력을 입증하는 것.

제안 방법

• 저밀도 다중 모달 국소화 및 매핑 프레임워크를 활용하여 LiDAR 옹도메트리, 가시광선 카메라-IMU 융합(ROVIO), 열화상-관성 옹도메트리의 융합을 통해 저조도 조건에서도 내구성을 확보한다.
• 고속(20–30 FPS)의 시각 및 열화상-관성 업데이트를 LiDAR 기반 매핑과 융합하여, 동적인 또는 장애물로 인해 시야가 차단되는 환경에서도 정확성과 내구성을 향상시킨다.
• 자율 탐색을 위해 사전 모델이 없는 경우 전체 환경 스캔을 보장하기 위해 커버리지 기반 경로 계획 알고리즘을 사용한다.
• 최적화된 점검을 위해 구조물의 사전 3D 모델을 활용하여 제한된 센서 시야를 고려한 균일하고 전체 커버리지가 보장되는 점검 경로를 생성한다.
• 물체 탐지는 YOLOv3 기반 탐지기로 수행되며, 부피 재구성 기반 레이 캐스팅을 통해 물체 자세를 3D 지도에 투영한다.
• 다중 임무 동안의 포인트 클라우드 데이터는 ICP 또는 유사 기법을 사용하여 정렬하여 시간 경과에 따른 구조적 변화 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 모달 센서 융합을 통해 GPS 불가능한 복잡한 공사현장 환경에서 자율 항공 로봇이 고정밀 3D 매핑을 수행할 수 있는가?
• RQ2 사전 지식이 없는 자율 탐색과 사전 모델을 활용한 최적화된 반복 점검을 위한 경로 계획은 어떻게 적응시킬 수 있는가?
• RQ3 먼지, 어두운 환경 또는 저무늬 공사현장 조건에서 열화상 및 시각-관성 센서 융합이 국소화 내구성에 얼마나 기여하는가?
• RQ4 비행 중 실시간으로 관심 있는 물체를 자율적으로 탐지 및 위치 추적할 수 있는가?
• RQ5 블루프린트가 없는 복잡한 노출된 목조 구조물에서 정확한 정량적 지도 재구성 능력은 얼마나 뛰어난가?

주요 결과

• RCSS는 라스베가스 네바다 대학교 아트스튜디오 건물 복도에서 사전 환경 지식 없이도 고정밀 3D 지도를 성공적으로 생성하였다.
• YOLOv3 기반 탐지기를 통해 실시간 물체 탐지 및 위치 추적 기능을 구현하였으며, 레이 캐스팅을 통해 온라인 부피 재구성 지도에 물체 클래스, 3D 자세 및 타임스탬프를 보고하였다.
• 블루프린트가 없는 화재 후 공동 주거 공사현장의 노출된 목조 구조물에 대해 정밀한 정량적 지도를 생성하여, 블루프린트 없이도 시스템의 능력을 입증하였다.
• 사전 브리지 모델 기반 경로 계획은 균일한 센서 시야 분포를 확보한 전체 커버리지 점검 경로를 생성하였으며, 시뮬레이션을 통해 검증되었다.
• 다중 임무의 포인트 클라우드 정렬을 통해 구조적 변화를 시각적으로 탐지할 수 있었으며, 이는 자동 진척 상황 모니터링의 핵심 기능이 되었다.
• 현장 테스트를 통해 다중 모달 센서 융합 덕분에 먼지 및 저조도 조건에서도 시스템의 내구성이 확인되었다.