[論文レビュー] A Deep Neural Networks Approach for Pixel-Level Runway Pavement Crack Segmentation Using Drone-Captured Images

Liming Jiang, Yuanchang Xie+1 more|arXiv (Cornell University)|Jan 9, 2020

Infrastructure Maintenance and Monitoring参考文献 15被引用数 16

ひとこと要約

本論文は、ドローンが撮影した空中画像を用いて滑走路の舗装亀裂をピクセル単位でセグメンテーションするU-Netベースの深層学習手法を提案する。公開のオンラインアノテートデータセットと限られたFMA収集画像を組み合わせることで、ドメイン特化の訓練データが最小限であっても、優れた汎化性能を達成し、亀裂検出において高い正確性を示す。この手法は、空港および高速道路の舗装点検応用において強く有望である。

ABSTRACT

Pavement conditions are a critical aspect of asset management and directly affect safety. This study introduces a deep neural network method called U-Net for pavement crack segmentation based on drone-captured images to reduce the cost and time needed for airport runway inspection. The proposed approach can also be used for highway pavement conditions assessment during off-peak periods when there are few vehicles on the road. In this study, runway pavement images are collected using drone at various heights from the Fitchburg Municipal Airport (FMA) in Massachusetts to evaluate their quality and applicability for crack segmentation, from which an optimal height is determined. Drone images captured at the optimal height are then used to evaluate the crack segmentation performance of the U-Net model. Deep learning methods typically require a huge set of annotated training datasets for model development, which can be a major obstacle for their applications. An online annotated pavement image dataset is used together with the FMA data to train the U-Net model. The results show that U-Net performs well on the FMA testing data even with limited FMA training images, suggesting that it has good generalization ability and great potential to be used for both airport runways and highway pavements.

研究の動機と目的

• ドローン画像を用いて、空港滑走路の舗装亀裂を自動的かつ費用対効果の高い方法で検出する手法を開発すること。
• ドローンの飛行高度が画像品質および亀裂セグメンテーション性能に与える影響を評価すること。
• 公開データと限られた現地特化型アノテート画像の組み合わせで訓練されたU-Netモデルの汎化能力を評価すること。
• 空港滑走路および高速道路の両方に適用可能なスケーラブルなピクセル単位の舗装亀裂セグメンテーションを可能にすること。
• 手作業による点検に依存するのを減らすために、深層学習を用いた自動舗装状態評価ソリューションを導入すること。

提案手法

• 滑走路の亀裂セグメンテーションのためのセマンティックセグメンテーションに、U-Net畳み込みニューラルネットワークが用いられた。
• Fitchburg Municipal Airport (FMA) で複数の高度からドローン画像を収集し、画像品質とセグメンテーション精度を最適化する飛行高度を特定した。
• オンラインアノテート済み舗装画像データセットと、FMA固有の画像の少数を組み合わせて、U-Netモデルを訓練した。
• 多様な公開データと限られた現地データの統合を通じて、データ増強およびトランスファーラーニング技術が暗黙的に活用された。
• 標準的なセグメンテーション指標（例：Dice係数、IoU）を用いて、FMAのホールドアウトテストセット上でモデル性能を評価した。
• 画像の明瞭さとセグメンテーション性能をバランスさせることで、最適な飛行高度が選定された。

実験結果

リサーチクエスチョン

• RQ1 亀裂セグメンテーション精度を最大化するための、滑走路舗装画像を撮影する最適なドローンの飛行高度は何か？
• RQ2 公開データと限られた現地特化型データの組み合わせで訓練されたU-Netモデルは、実世界の空港滑走路画像にどの程度汎化できるか？
• RQ3 限られた数のアノテート済み現地画像のみを用いても、深層学習ベースのピクセル単位の舗装亀裂セグメンテーションを空港滑走路に効果的に適用できるか？
• RQ4 従来の手作業による方法と比較して、提案手法は点検時間とコストをどの程度削減できるか？
• RQ5 訓練済みモデルは、交通量が少ない時間帯に、高速道路などの他のインフラタイプへも移行可能か？

主な発見

• U-Netモデルは、FMAのテストデータにおいて、FMA画像の少数での訓練にもかかわらず高いセグメンテーション正確性を達成し、強力な汎化能力を示した。
• 画像解像度とカバレッジのバランスを取る最適なドローン飛行高度が特定され、セグメンテーション性能が顕著に向上した。
• オンラインアノテートデータセットと限られた現地データの統合により、ターゲットサイトの膨大な手作業アノテーションを必要とせずに、効果的なモデル訓練が可能になった。
• モデルはピクセル単位の亀裂セグメンテーションにおいて頑健な性能を示し、テストセットで高いDice係数およびIoUスコアが報告された。
• この手法は高速道路の舗装点検にも応用可能であり、特に交通量が少ない時間帯に有効である。
• 本研究は、深層学習モデルが空港滑走路管理における点検時間と人的コストを顕著に削減できることを確認した。