[論文レビュー] Pavement Distress Detection and Segmentation using YOLOv4 and DeepLabv3 on Pavements in the Philippines

James-Andrew Sarmiento|arXiv (Cornell University)|Mar 11, 2021

Infrastructure Maintenance and MonitoringEngineering被引用数 17

ひとこと要約

本研究では、フィリピンのRGB画像データセットを用いて、YOLOv4を用いたオブジェクト検出とDeepLabv3を用いたセマンティックセグメンテーションによる自動舗装損傷検出と分類のためのディーブラーニングパイプラインを提案する。限られたデータにもかかわらず、DeepLabv3はmIoU 0.56およびDice係数0.58を達成した一方、YOLOv4はmAP 0.286にとどまり、微細な亀裂の検出やバウンディングボックスによるスケーリングの課題が浮き彫りになった。

ABSTRACT

Road transport infrastructure is critical for safe, fast, economical, and reliable mobility within the whole country that is conducive to a productive society. However, roads tend to deteriorate over time due to natural causes in the environment and repeated traffic loads. Pavement Distress (PD) detection is essential in monitoring the current conditions of the public roads to enable targeted rehabilitation and preventive maintenance. Nonetheless, distress detection surveys are still done via manual inspection for developing countries such as the Philippines. This study proposed the use of deep learning for two ways of recording pavement distresses from 2D RGB images - detection and segmentation. YOLOv4 is used for pavement distress detection while DeepLabv3 is employed for pavement distress segmentation on a small dataset of pavement images in the Philippines. This study aims to provide a basis to potentially spark solutions in building a cheap, scalable, and automated end-to-end solution for PD detection in the country.

研究の動機と目的

• フィリピンをはじめとする発展途上国では手動による調査が高コストかつ一貫性に欠けるため、自動舗装損傷検出の不足に対処すること。
• 2次元RGB画像を用いたディーブラーニングによる、スケーラブルで低コストかつ自動化された道路インfra構造物の健全性監視ソリューションの開発。
• フィリピンの実世界の舗装画像データセットを用いて、YOLOv4によるオブジェクト検出とDeepLabv3によるセマンティックセグメンテーションの性能を評価すること。
• リソース制約のある環境における将来的なエンドツーエンド自動舗装状態評価システムの基盤フレームワークを提供すること。

提案手法

• 2次元RGB画像上での舗装損傷（例：アリゲータークラック、剥離）のインスタンスレベル検出にYOLOv4を用い、バウンディングボックスを用いる。
• アトラススパティアルアップロールプールイング（ASPP）とエンコーダデコーダアーキテクチャを備えたDeepLabv3を用いて、損傷タイプのピクセル単位のセマンティックセグメンテーションを実施。
• 両モデルの特徴抽出を向上させるために、画像をCLAHEで前処理した。
• 5つの損傷クラス（アリゲータークラック、剥離、ボウル型陥没、スケーリング、破壊）を含む、305枚の画像からなる小規模なデータセットでモデルを訓練。
• 検出性能は平均平均精度（mAP）で、セグメンテーション性能は平均インターセクションオーバーユニオン（mIoU）とDice係数で評価。
• 過学習を軽減するため、データオーグメンテーションとトランスファーラーニングを用いた。

実験結果

リサーチクエスチョン

• RQ1 YOLOv4は、フィリピンの実世界の小規模なデータセットにおいて、舗装損傷の信頼性あるオブジェクト検出を達成できるか？
• RQ2 限られたトレーニングデータのもとで、DeepLabv3は重なり合うクラックやスケーリングといった複雑な舗装欠損を正確にセマンティックセグメンテーションできるか？
• RQ3 CLAHEのような前処理技術は、舗装損傷検出およびセグメンテーションにおけるディーブラーニングモデルの性能にどのように影響するか？
• RQ4 この文脈において、YOLOv4およびDeepLabv3の主な失敗モードは何か？
• RQ5 小規模で低コストなディーブラーニングパイプラインは、発展途上国におけるスケーラブルな自動舗装状態監視の基盤として、どの程度の役割を果たせるか？

主な発見

• DeepLabv3はDPWHデータセット上でmIoU 0.56およびDice係数0.58を達成し、限られたトレーニングデータにもかかわらず、中程度から良好なセマンティックセグメンテーション性能を示した。
• YOLOv4は前処理済み画像でmAP 0.286、元の画像でmAP 0.272を達成し、特に微細または複雑な損傷に対しては検出性能が低いことが判明した。
• モデルはクラスの混同に苦しんでおり、剥離をボウル型陥没と誤分類したり、逆にその逆をしたりしていた。これは、テクスチャの類似性とCLAHEによる特徴の感度増加が原因である可能性がある。
• DeepLabv3は、特にテクスチャが複雑または不均一な領域で、正常な舗装表面をスケーリングとして誤ってセグメンテーションする高頻度の誤検出を示した。
• YOLOv4は、不規則で細長い、または断片的な損傷に対して、バウンディングボックス検出の限界により、特に小さなまたは薄いクラックやスケーリング欠損を多く見逃していた。
• 低い指標スコアにもかかわらず、両モデルはアリゲータークラックや剥離といった主要な損傷タイプの検出に実用可能性を示しており、より大規模で均一なデータセットを用いることでさらなる改善が期待できる。