[论文解读] Autonomous Power Line Inspection with Drones via Perception-Aware MPC

Jiaxu Xing, Giovanni Cioffi+2 more|Zurich Open Repository and Archive (University of Zurich)|Apr 3, 2023

Power Line Inspection Robots被引用 6

一句话总结

本文提出了一种感知感知意识的模型预测控制（MPC）框架，用于自主无人机电力线路巡检，该框架在未预先知晓电力线路或杆塔位置的情况下，紧密耦合了线路跟踪与障碍物避让。通过在线自适应感知目标的权重，联合优化可见性与安全性，并采用零样本迁移的、基于合成数据训练的检测器，系统将线路可见性提升了40%，并实现了在四旋翼平台上的鲁棒真实世界运行。

ABSTRACT

Drones have the potential to revolutionize power line inspection by increasing productivity, reducing inspection time, improving data quality, and eliminating the risks for human operators. Current state-of-the-art systems for power line inspection have two shortcomings: (i) control is decoupled from perception and needs accurate information about the location of the power lines and masts; (ii) obstacle avoidance is decoupled from the power line tracking, which results in poor tracking in the vicinity of the power masts, and, consequently, in decreased data quality for visual inspection. In this work, we propose a model predictive controller (MPC) that overcomes these limitations by tightly coupling perception and action. Our controller generates commands that maximize the visibility of the power lines while, at the same time, safely avoiding the power masts. For power line detection, we propose a lightweight learning-based detector that is trained only on synthetic data and is able to transfer zero-shot to real-world power line images. We validate our system in simulation and real-world experiments on a mock-up power line infrastructure. We release our code and datasets to the public.

研究动机与目标

• 解决现有自主电力线路巡检无人机中感知与控制解耦带来的局限性。
• 在缺乏线路或杆塔位置先验知识的情况下，实现安全的、基于视觉的电力线路跟踪。
• 开发一种实时的、感知感知意识的MPC，以平衡线路可见性与障碍物避让。
• 构建一种基于学习的检测器，可实现从合成数据到真实世界电力线路图像的零样本迁移。
• 在仿真环境和真实四旋翼无人机平台的模拟电力线路环境中验证完整系统。

提出的方法

• 提出一种感知感知意识的MPC，通过可见性与安全性指标的加权和，联合优化线路跟踪与碰撞避免目标。
• MPC在运行时动态调整两项目标的权重，以平衡相互冲突的目标，确保可行性与实时性能。
• 基于[9]开发一种轻量级、可学习的电力线路检测器，仅使用合成数据进行训练，并实现零样本迁移到真实世界图像。
• 系统利用机载VIO与深度传感进行位姿估计与障碍物检测，实现在Nvidia Jetson TX2上的实时运行。
• 可见性度量结合了检测到的线路与参考线路之间的角度对齐与位置对齐，经图像对角线归一化。
• MPC采用序列二次规划（SQP）求解器实现，并在仿真与真实世界测试平台中进行评估。

实验结果

研究问题

• RQ1 在缺乏基础设施先验知识的情况下，感知感知意识的MPC能否在确保安全避障的同时提升电力线路的可见性？
• RQ2 仅在合成数据上训练的基于学习的检测器，在零样本迁移至真实世界电力线路图像时效果如何？
• RQ3 所提出的MPC能否在资源受限的无人机平台上实现实时部署？
• RQ4 与解耦方法相比，感知与控制的联合优化在跟踪鲁棒性与数据质量方面表现如何？
• RQ5 将感知目标集成到MPC中带来的计算开销是多少？是否适合实时部署？

主要发现

• 与经典MPC相比，感知感知意识的MPC在可见性度量（见公式(11)）下，平均线路可见性提升了40%。
• 在真实世界实验中，系统在未获取线路或杆塔真实位置信息的情况下，成功实现了对电力线路的跟踪与杆塔避让。
• 在Nvidia Jetson TX2上，MPC更新时间为7.90 ± 3.63 ms，求解器耗时为7.67 ± 3.62 ms，证明了其实时可行性。
• 基于合成数据训练的检测器无需微调即可实现零样本迁移至真实世界图像，实现了数据高效的感知。
• 系统在多种环境（包括简单环境、仓库、森林与村庄）中均保持了鲁棒的跟踪与避障能力。
• 完整系统已在仿真环境与真实四旋翼无人机平台的模拟电力线路基础设施中得到验证。