[論文レビュー] Autonomous Power Line Inspection with Drones via Perception-Aware MPC

Jiaxu Xing, Giovanni Cioffi+2 more|Zurich Open Repository and Archive (University of Zurich)|Apr 3, 2023

Power Line Inspection Robots被引用数 6

ひとこと要約

本論文は、送電線や電柱の位置に関する事前知識がなくても、ライン追従と障害物回避を密接に統合する、認識に配慮したモデル予測制御（MPC）フレームワークを提示する。オンラインでの認識目的の重み適応と、ゼロショットで転送可能な合成データで学習された検出器を用いることで、可視性を40％向上させ、四軸旋翼機プラットフォーム上で堅牢な実世界運用を実現した。

ABSTRACT

Drones have the potential to revolutionize power line inspection by increasing productivity, reducing inspection time, improving data quality, and eliminating the risks for human operators. Current state-of-the-art systems for power line inspection have two shortcomings: (i) control is decoupled from perception and needs accurate information about the location of the power lines and masts; (ii) obstacle avoidance is decoupled from the power line tracking, which results in poor tracking in the vicinity of the power masts, and, consequently, in decreased data quality for visual inspection. In this work, we propose a model predictive controller (MPC) that overcomes these limitations by tightly coupling perception and action. Our controller generates commands that maximize the visibility of the power lines while, at the same time, safely avoiding the power masts. For power line detection, we propose a lightweight learning-based detector that is trained only on synthetic data and is able to transfer zero-shot to real-world power line images. We validate our system in simulation and real-world experiments on a mock-up power line infrastructure. We release our code and datasets to the public.

研究の動機と目的

• 自律的送電線点検ドローンにおける制御と認識の分離による制限を克服すること。
• 送電線や電柱の位置に関する事前知識がなくても、安全でビジョンベースの送電線追従を可能にすること。
• リアルタイムで動作する認識に配慮したMPCを開発し、ライン可視性と障害物回避のバランスをとること。
• 合成データから学習し、実世界の送電線画像へゼロショットで一般化可能な学習ベースの検出器を構築すること。
• 模擬送電線環境下でのシミュレーションおよび物理的四軸旋翼機を用いた実世界テストで、全システムを検証すること。

提案手法

• 認識に配慮したMPCを定式化し、可視性と安全性の指標の重み付き和を用いて、ライン追従と衝突回避の両目的を同時に最適化する。
• MPCは、矛盾する目標をバランスさせるために、オンラインで二つの目的の重みを動的に調整し、実行可能性とリアルタイム性能を確保する。
• [9]に基づく軽量で学習可能な送電線検出器を、合成データに限定して訓練し、ゼロショットで実世界画像へ転送する。
• システムは搭載されたVIOと深度センシングを用いてポーズ推定と障害物検出を実行し、Nvidia Jetson TX2上でリアルタイム動作を実現する。
• 可視性指標は、検出されたラインと基準ラインとの間の角度的および位置的整合性を、画像の対角線で正規化することで算出する。
• MPCは逐次二次計画法（SQP）ソルバを用いて実装され、シミュレーションおよび実世界のテストベッドで評価された。

実験結果

リサーチクエスチョン

• RQ1 事前インfra知識がなくとも、認識に配慮したMPCが、安全な障害物回避を確保しながら送電線の可視性を向上させられるか？
• RQ2 合成データでのみ学習された学習ベースの検出器が、実世界の送電線画像へゼロショットで転送できるか？
• RQ3 提案されたMPCは、リソース制約のあるドローンプラットフォームでリアルタイムにデプロイ可能か？
• RQ4 認識と制御の統合最適化は、分離されたアプローチと比較して、追従の堅牢性とデータ品質の点で優れているか？
• RQ5 MPCに認識目的を組み込む際の計算オーバーヘッドはどの程度で、リアルタイムデプロイに実用的か？

主な発見

• 認識に配慮したMPCは、式（11）で定義される可視性指標を用いて測定したところ、古典的MPCと比較して平均で40％の可視性向上を達成した。
• 実世界の実験では、送電線や電柱の真値位置が入手不可であっても、システムは送電線を正常に追従し、電柱を回避した。
• Nvidia Jetson TX2上でMPCの更新時間は7.90 ± 3.63 ms、ソルバ時間は7.67 ± 3.62 msであり、リアルタイム実行の可能性が裏付けられた。
• 合成データで訓練された検出器は微調整なしに実世界画像へゼロショットで転送され、データ効率の良い認識を実現した。
• シンプルな環境、倉庫、森林、村の環境など多様な環境において、システムは堅牢な追従と回避を維持した。
• 全システムは、シミュレーションおよび模擬送電線インfra構造を備えた物理的四軸旋翼機を用いた実世界テストで検証された。