[論文レビュー] U-Net for MAV-based Penstock Inspection: an Investigation of Focal Loss in Multi-class Segmentation for Corrosion Identification

Ty Nguyen, Tolga Özaslan+8 more|arXiv (Cornell University)|Sep 18, 2018

Infrastructure Maintenance and Monitoring参考文献 20被引用数 7

ひとこと要約

本稿では、40枚未塔のアノテート済み画像で訓練された軽量U-Netモデルを提案し、マイクロエアリアルビークル（MAV）が収集した画像を用いて、ペンストック点検におけるリアルタイムで自動化された腐食検出を実現する。この手法は最適化されたクラスウェイトを用いたフォーカルロスを活用し、シングルGPUで12 fpsの推論を達成し、センター・ヒルダムの低照度・ノイズ混在条件下でも、標準的な交差エントロピー損失を上回る腐食領域のセグメンテーション性能を示した。

ABSTRACT

Periodical inspection and maintenance of critical infrastructure such as dams, penstocks, and locks are of significant importance to prevent catastrophic failures. Conventional manual inspection methods require inspectors to climb along a penstock to spot corrosion, rust and crack formation which is unsafe, labor-intensive, and requires intensive training. This work presents an alternative approach using a Micro Aerial Vehicle (MAV) that autonomously flies to collect imagery which is then fed into a pretrained deep-learning model to identify corrosion. Our simplified U-Net trained with less than 40 image samples can do inference at 12 fps on a single GPU. We analyze different loss functions to solve the class imbalance problem, followed by a discussion on choosing proper metrics and weights for object classes. Results obtained with the dataset collected from Center Hill Dam, TN show that focal loss function, combined with a proper set of class weights yield better segmentation results than the base loss, Softmax cross entropy. Our method can be used in combination with planning algorithm to offer a complete, safe and cost-efficient solution to autonomous infrastructure inspection.

研究の動機と目的

• ペンストックインfraストラクチャにおける自動腐食検出のためのデータ効率の良いディープラーニング手法の開発。
• 損失関数を用いたペンストックスフェース欠険のマルチクラスセグメンテーションにおけるクラス不均衡の解消。
• フォーカルロスとクラスウェイトの組み合わせが、低照度・ノイズ混在条件下でのセグメンテーション精度を向上させる有効性の評価。
• 高解像度画像におけるリアルタイム推論（12 fps）を実現し、現地での展開を可能にする。
• 危険な環境における手動点検の代替として、スケーラブルで安全かつ費用対効果の高い代替手段の提供。

提案手法

• センター・ヒルダムでMAVが収集した画像から、40枚未塔の手動アノテート済み画像を用いてU-Netアーキテクチャを訓練。
• モデルは5つのクラス（コーティング、水、リベット、湿潤、腐食表面）へのピクセル単位分類を実行。
• クラス不均衡を軽減するため、二値分類から拡張されたマルチクラスセグメンテーション向けのフォーカルロスを適用。
• 腐食などレアクラスの性能向上を図るため、フォーカルロス関数にクラスウェイトを適用。
• ハイパーパramータ γ = 2.0 を用いて、交差エントロピーとフォーカルロスの組み合わせでネットワークを訓練。
• オリジナルの1024×1280解像度画像を用いて、シングルGPUで12 fpsの推論を実行。

実験結果

リサーチクエスチョン

• RQ1 最小限のアノテートデータで、軽量U-Netモデルがペンストックスフェース欠陥のマルチクラスセグメンテーションを高精度に達成できるか？
• RQ2 低照度・ノイズ混在環境下における腐食検出において、フォーカルロスは標準的な交差エントロピー損失に比べてどのように性能を発揮するか？
• RQ3 フォーカルロスを用いたペンストックス欠陥のマルチクラスセグメンテーションにおいて、最適なクラスウェイトの設定は何か？
• RQ4 DSC、感受性、特異性などの異なる評価指標は、不均衡なデータセットにおけるセグメンテーションモデルの性能をどのように反映するか？
• RQ5 提案手法により、自律的なMAVベース点検に適したリアルタイムでデバイス内推論が可能になるか？

主な発見

• γ = 2.0 の重み付きフォーカルロスが、セグメンテーション品質において、標準的な交差エントロピー損失および単独のフォーカルロスを上回る最良の全体的性能を達成した。
• 腐食クラスのクラスウェイト w_c = 4 の場合、総誤差が1.9%に最小化され、感受性と特異性の最適なトレードオフが達成された。
• 重み付きフォーカルロスを用いた際、w_c = 1 の場合にDSC（Dice類似係数）が最高の52.1%に達し、セグメンテーションの重複度が向上した。
• w_c = 8 の場合、感受性は83.4%に上昇したが、特異性は95.2%に低下し、真陽性を検出する能力と偽陽性の低減のトレードオフが確認された。
• 重み付きフォーカルロスモデルは、他の損失関数と比較して、腐食、湿潤領域、リベットのセグメンテーションがより明確かつ完全であることが、定性的な結果でも確認された。
• モデルはシングルGPUで12 fpsのリアルタイム推論を達成し、高解像度MAV画像の現地処理を可能にした。