[論文レビュー] Thermal and Visual Tracking of Photovoltaic Plants for Autonomous UAV inspection

Luca Morando, Carmine Tommaso Recchiuto+3 more|arXiv (Cornell University)|Feb 2, 2022

Power Line Inspection Robots被引用数 4

ひとこと要約

本論文では、リアルタイムでの赤外線およびRGBカメラを用いた太陽光パネルモジュール追跡を活用し、パネル列に沿って低高度で高解像度の点検を実現する自律型UAV点検システムを提案する。視覚的および赤外線的データを融合させることでGPSのずれを補正することで、不要なデータ収集を低減し、ナビゲーション誤差を0.4 m未満に抑え、15 mの高度で正確な欠陊検出を可能にする。

ABSTRACT

Since photovoltaic (PV) plants require periodic maintenance, using Unmanned Aerial Vehicles (UAV) for inspections can help reduce costs. The thermal and visual inspection of PV installations is currently based on UAV photogrammetry. A UAV equipped with a Global Positioning System (GPS) receiver is assigned a flight zone: the UAV will cover it back and forth to collect images to be later composed in an orthomosaic. The UAV typically flies at a height above the ground that is appropriate to ensure that images overlap even in the presence of GPS positioning errors. However, this approach has two limitations. Firstly, it requires to cover the whole flight zone, including "empty" areas between PV module rows. Secondly, flying high above the ground limits the resolution of the images to be later inspected. The article proposes a novel approach using an autonomous UAV equipped with an RGB and a thermal camera for PV module tracking. The UAV moves along PV module rows at a lower height than usual and inspects them back and forth in a boustrophedon way by ignoring "empty" areas with no PV modules. Experimental tests performed in simulation and an actual PV plant are reported.

研究の動機と目的

• 従来のUAVアーチファクト点検における非効率性、すなわちパネル列の間の空き領域をカバーし、解像度が制限されることを是正すること。
• 高精度GPSに依存しないように、PVモジュール列に沿った自律的ナビゲーションのためのリアルタイムでセンサーに依存する補正システムを開発すること。
• 低高度での飛行を可能にすることで、高解像度の赤外線および可視画像の取得を実現するとともに、PV列に正確に一致させる。
• 異なる照明および熱的条件下でのPVモジュール検出に向け、モデル駆動型とデータ駆動型のセグメンテーションアプローチを比較すること。
• システムの耐久性および正確性を確認するため、シミュレーションおよび実際の太陽光発電所環境の両方で検証すること。

提案手法

• 本システムは、DJI Matrice 300 UAVに搭載されたハイブリッドRGBおよび赤外線カメラ（DJI Zenmuse XT2）を用い、リアルタイムでのPVモジュール検出を実現する。
• モデルベースのセグメンテーションパイプラインは、幾何学的および強度に基づく特徴（エッジ検出、色クラスタリングなど）を用いて、赤外線およびRGB画像内のPVモジュールを検出する。
• UAVのナビゲーションシステムは、GPSウェイポイント計画とビジュアルサーボイングを統合している。パネル中央線の推定位置を用いて、列に沿った飛行中にGPSのずれを補正する。
• 誤差補正は、赤外線およびRGBデータを融合させることで実現され、低熱的コントラストや眩しさなどの最適でない条件下でも耐性を高める。
• 本システムは、列間ではGPSベースのナビゲーションを、各列ではビジュアルサーボイングを交互に使用することで、列に沿った整合性を維持する。
• 比較のため、独自の赤外線画像データセットで学習された機械学習ベースのセグメンテーションモデル（ROS実行可能形式）が使用された。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでの赤外線およびRGBベースのPVモジュール検出は、低高度でのPVモジュール列に沿った正確なUAVナビゲーションを可能にするか？
• RQ2 赤外線およびRGBデータの融合は、単一センサー手法と比較して、ナビゲーションの耐性をどの程度向上させるか？
• RQ3 モデル駆動型セグメンテーションは、データ駆動型の機械学習手法と比較して、大規模なアノテート済みデータセットへの依存度をどの程度低減できるか？
• RQ4 GPS誤差はUAVがPVモジュール列に沿った整合性にどの程度影響を及ぼすか？また、リアルタイム補正によって十分な画像被覆率と解像度を維持できるか？
• RQ5 提案されたシステムは、15 mの高度でPVモジュールがカメラの視野内に常に保持されるほど十分なナビゲーション精度を達成できるか？

主な発見

• データ駆動型ニューラルネットワークを用いた赤外線画像セグメンテーションにおいて、ナビゲーションの平均二乗誤差（RMSE）が0.368 mに達し、高い正確性を示した。
• モデル駆動型アプローチは、データ駆動型手法と同等のナビゲーション正確性を達成したが、大規模でプラント固有のトレーニングデータセットを必要としなかった。
• 赤外線およびRGBカメラの両方を用いることで、単一のセンサーを使用した場合と比較して平均ナビゲーション誤差が低減され、照明および熱的条件の変化に強い耐性が向上した。
• 本システムは、15 mの高度でもPVモジュールをカメラの視野内に安定して維持でき、欠陊検出に適した高解像度画像の取得を可能にした。
• GPSウェイポイントナビゲーションと列に沿ったビジュアルサーボイングの組み合わせは、ずれを最小限に抑え、複数の列にわたる一貫性ある整合性を確保するのに効果的であった。
• 非関連領域（例：列の間の隙間）へのデータ収集が顕著に削減され、点検の効率性が向上し、処理負荷も低減された。