[논문 리뷰] Autonomous Power Line Inspection with Drones via Perception-Aware MPC

Jiaxu Xing, Giovanni Cioffi외 2명|Zurich Open Repository and Archive (University of Zurich)|2023. 04. 03.

Power Line Inspection Robots인용 수 6

한 줄 요약

이 논문은 전력선이나 마스트 위치에 대한 사전 지식 없이 선 추적과 장애물 회피를 밀접하게 통합하는 인지 인식 기반 모델 예측 제어(MPC) 프레임워크를 제안한다. 인지 목표의 온라인 가중치 적응을 통해 시야와 안전성을 공동 최적화하고, 합성 데이터로 훈련된 제로샷 전이가 가능한 경량 검출기를 사용함으로써, 시선 가시성을 40% 향상시키고 큼직한 드론 플랫폼에서 견고한 실세계 운영을 가능하게 한다.

ABSTRACT

Drones have the potential to revolutionize power line inspection by increasing productivity, reducing inspection time, improving data quality, and eliminating the risks for human operators. Current state-of-the-art systems for power line inspection have two shortcomings: (i) control is decoupled from perception and needs accurate information about the location of the power lines and masts; (ii) obstacle avoidance is decoupled from the power line tracking, which results in poor tracking in the vicinity of the power masts, and, consequently, in decreased data quality for visual inspection. In this work, we propose a model predictive controller (MPC) that overcomes these limitations by tightly coupling perception and action. Our controller generates commands that maximize the visibility of the power lines while, at the same time, safely avoiding the power masts. For power line detection, we propose a lightweight learning-based detector that is trained only on synthetic data and is able to transfer zero-shot to real-world power line images. We validate our system in simulation and real-world experiments on a mock-up power line infrastructure. We release our code and datasets to the public.

연구 동기 및 목표

• 자율 전력선 점검 드론에서 제어와 인지가 분리된 접근법의 한계를 해결하기 위해.
• 전력선이나 마스트 위치에 대한 사전 지식이 없는 상황에서도 안전하고 비전 기반의 전력선 추적을 가능하게 하기 위해.
• 선 가시성과 장애물 회피를 균형 잡는 실시간, 인지 인식 기반 MPC를 개발하기 위해.
• 합성 데이터에서 학습한 기계학습 기반 검출기를 실세계 전력선 이미지로 제로샷 전이가 가능한 것으로 일반화시키기 위해.
• 모의 전력선 환경에서 시뮬레이션과 실제 큼직한 드론에서 전체 시스템을 검증하기 위해.

제안 방법

• 시야와 안전성 지표의 가중합을 사용하여 선 추적과 충돌 회피 목표를 공동 최적화하는 인지 인식 기반 MPC를 수립한다.
• 충돌하는 목표를 균형 잡기 위해 온라인에서 두 목표의 가중치를 동적으로 조정함으로써 타당성과 실시간 성능를 확보한다.
• 기존 논문 [9] 기반의 경량이며 학습 가능한 전력선 검출기를 합성 데이터 전용으로 훈련하고, 제로샷으로 실세계 이미지로 전이한다.
• 드론의 온보드 VIO와 깊이 센서를 사용해 자세 추정 및 장애물 탐지 기능을 수행함으로써, Nvidia Jetson TX2에서 실시간 운영을 가능하게 한다.
• 시야 지표는 검출된 선과 기준 선 간의 각도 및 위치 일치도를 이미지 대각선으로 정규화하여 조합한다.
• MPC는 순차적 정수계획법(SQP) 솔버를 사용해 구현되었으며, 시뮬레이션 및 실제 테스트베드에서 평가되었다.

실험 결과

연구 질문

• RQ1 사전 인프라 지식이 없는 상황에서 인지 인식 기반 MPC가 전력선 시야를 향상시키면서도 안전한 장애물 회피를 보장할 수 있는가?
• RQ2 합성 데이터로만 훈련된 기계학습 기반 검출기가 실세계 전력선 이미지로 제로샷 전이하는 데 얼마나 효과적인가?
• RQ3 제안된 MPC는 자원 제약이 있는 드론 플랫폼에서 실시간으로 구동될 수 있는가?
• RQ4 제어와 인지의 공동 최적화가 분리된 접근법에 비해 추적 안정성과 데이터 품질 측면에서 얼마나 우수한가?
• RQ5 MPC에 인지 목표를 통합할 경우 계산 오버헤드는 얼마나 되며, 실시간 구동에 실현 가능한가?

주요 결과

• Eq. (11)에 정의된 시야 지표로 측정한 결과, 전통적 MPC 대비 평균 전력선 시야가 40% 향상되었다.
• 실세계 실험에서 전력선을 성공적으로 추적하고 마스트를 피했으며, 선이나 마스트의 진짜 위치 정보 없이도 작동했다.
• Nvidia Jetson TX2에서 MPC 업데이트 시간은 7.90 ± 3.63 ms, 솔버 실행 시간은 7.67 ± 3.62 ms로 실시간 실행 가능성을 입증했다.
• 합성 데이터로 훈련된 검출기는 미세조정 없이도 실세계 이미지로 제로샷 전이가 가능하여 데이터 효율적인 인지 기능을 제공한다.
• 간단한 환경, 창고, 숲, 마을 등 다양한 환경에서도 견고한 추적과 회피 성능을 유지했다.
• 전체 시스템은 시뮬레이션과 실제 큼직한 드론을 이용한 모의 전력선 인프라에서 검증되었다.