[논문 리뷰] Autonomous visual inspection of large-scale infrastructures using aerial robots

Christoforos Kanellakis, Emil Fresk외 3명|arXiv (Cornell University)|2019. 01. 16.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 12

한 줄 요약

이 논문은 대규모 인프라의 시각적 점검을 위한 완전 자율적인 다중 MA 전체 시스템을 제시한다. 초음파-자이로스코프 융합을 통한 정밀한 위치 추정, 효율적인 구조물 스캔을 위한 기하학적 협업 커버리지 경로 계획기, 실시간 데이터 및 후처리 3D 재구성에 위한 차량 내 시각 센서를 포함한다. 이 프레임워크는 풍력 터빈에서의 실제 외부 시험을 통해 지상 지원 최소화 조건에서 견고하고 반복 가능하며 확장 가능한 점검을 입증하였다.

ABSTRACT

This article presents a novel framework for performing visual inspection around 3D infrastructures, by establishing a team of fully autonomous Micro Aerial Vehicles (MAVs) with robust localization, planning and perception capabilities. The proposed aerial inspection system reaches high level of autonomy on a large scale, while pushing to the boundaries the real life deployment of aerial robotics. In the presented approach, the MAVs deployed for the inspection of the structure rely only on their onboard computer and sensory systems. The developed framework envisions a modular system, combining open research challenges in the fields of localization, path planning and mapping, with an overall capability for a fast on site deployment and a reduced execution time that can repeatably perform the inspection mission according to the operator needs. The architecture of the established system includes: 1) a geometry-based path planner for coverage of complex structures by multiple MAVs, 2) an accurate yet flexible localization component, which provides an accurate pose estimation for the MAVs by utilizing an Ultra Wideband fused inertial estimation scheme, and 3) visual data post-processing scheme for the 3D model building. The performance of the proposed framework has been experimentally demonstrated in multiple realistic outdoor field trials, all focusing on the challenging structure of a wind turbine as the main test case. The successful experimental results, depict the merits of the proposed autonomous navigation system as the enabling technology towards aerial robotic inspectors.

연구 동기 및 목표

• 마이크로 항공기(MAV) 팀을 이용해 복잡한 인프라(예: 풍력 터빈)의 완전 자율적이고 대규모 시각 점검을 가능하게 하기.
• GPS 사용이 불가능하고 자기장 간섭 및 가림 현상이 있는 대규모 외부 환경에서 신뢰할 수 있는 위치 추정 문제 해결.
• 복잡한 3D 구조물의 전체적이고 겹치는 시야 범위 커버리지가 보장되는 협업 커버리지 경로 계획 알고리즘 개발.
• 차량 내 시각 데이터 스트리밍을 통해 실시간 평가 및 동일한 데이터 스트림을 통한 고해상도 후처리 3D 재구성 지원.
• 모션 캡처나 고비용 인프라 없이 실제 외부 조건에서의 시스템의 견고성과 반복 가능성 입증.

제안 방법

• 3D 기하학적 특성에 기반해 각 MA 전체에 구조적 부분을 할당하는 기하학적 협업 커버리지 경로 계획기(C-CPP)를 개발하여, 겹치는 시야 범위를 포함한 전체 커버리지 보장.
• UWB-자이로스코프 상태 추정을 융합하여 MA 전체의 정확하고 실시간의 자세 추정을 제공하며, 구조물 주변에 UWB 앵커를 설치해 드리프트를 완화.
• 단안 카메라에서 수집한 시각 데이터는 실시간 저해상도 스트리밍과 고해상도 후처리를 통한 3D 재구성에 모두 사용.
• 자이로스코프 기반 오도메트리 시스템을 도입하여 풍력 터빈의 구조물로 인한 자석계 실패로 인한 방향 추정 보완.
• 지역 UWB 네트워크를 주 위치 추정 시스템으로 사용하며, 고고도에서는 GPS를 백업으로 활용.
• 일관된 노출 조건을 갖춘 校정된 수동 초점 설정 이미지 시퀀스를 사용하여 구조물 재구성(SfM) 기법을 통해 3D 재구성 수행.

실험 결과

연구 질문

• RQ1 외부 모션 캡처나 GPS 없이, 완전 자율적인 MA 전체 팀이 대규모 외부 인프라(예: 풍력 터빈)를 완전하고 반복 가능한 방식으로 시각 점검을 수행할 수 있는가?
• RQ2 UWB-자이로스코프 융합은 GPS 사용이 불가능하고 자기장 간섭이 있는 환경에서 정확하고 견고한 위치 추정을 어떻게 가능하게 하는가?
• RQ3 어떤 경로 계획 전략이 복잡한 3D 구조물의 전체적이고 겹치는 시야 범위 커버리지와 함께 점검 시간을 최소화할 수 있는가?
• RQ4 차량 내 시각 센서가 동일한 데이터 스트림을 통해 실시간 시각 평가와 고정밀 3D 재구성을 모두 지원할 수 있는가?
• RQ5 실제 외부 조건에서 여러 미션 간에 시스템의 성능과 반복 가능성은 어떻게 유지되는가?

주요 결과

• 시스템은 실제 외부 조건에서 대규모 풍력 터빈의 완전 자율 시각 점검을 성공적으로 수행하여 확장성과 견고성을 입증하였다.
• UWB-자이로스코프 융합 기법은 독립적인 GPS 또는 자이로스코프 대비 더 높은 안정성과 낮은 드리프트를 제공하여 정확한 자세 추정을 실현하였다.
• 협업 커버리지 경로 계획기(C-CPP)는 겹치는 시야 범위를 포함한 효율적이고 전체적인 커버리지 점검을 가능하게 하여 단일 차량 접근 대비 점검 시간을 감소시켰다.
• SfM 기법을 사용해 차량 내 시각 데이터로부터 고품질 3D 모델을 재구성하였으며, 결과는 일관된 카메라 校정과 운동 파라렐랙스에 의존하였다.
• 고정 기준 거리의 제한으로 인해 스테레오 시스템 대비 단안 카메라가 깊이 인식에서 더 우수했으며, 수동 초점/노출 설정이 재구성 일관성 향상에 기여하였다.
• 특히 구조물에 의해 가림을 겪는 경우, 4G 또는 셀룰러 네트워크가 WiFi보다 더 신뢰할 수 있는 장거리 통신 수단임을 확인하였다.