[論文レビュー] Road Damages Detection and Classification with YOLOv7

Vung Pham, Van-Du Nguyen+1 more|arXiv (Cornell University)|Oct 31, 2022

Infrastructure Maintenance and Monitoring被引用数 4

ひとこと要約

本論文は、YOLOv7に座標注意機構とラベルスムージングを組み合わせ、Googleストリートビューから収集した道路画像を用いて、効率的な道路損傷検出・分類システムを提案する。米国テストデータにおいてF1スコア81.7%を達成し、CRDDC2022チャレンジで3位を獲得し、自動インフラ監視の分野において高い精度とスケーラビリティを示した。

ABSTRACT

Maintaining the roadway infrastructure is one of the essential factors in enabling a safe, economic, and sustainable transportation system. Manual roadway damage data collection is laborious and unsafe for humans to perform. This area is poised to benefit from the rapid advance and diffusion of artificial intelligence technologies. Specifically, deep learning advancements enable the detection of road damages automatically from the collected road images. This work proposes to collect and label road damage data using Google Street View and use YOLOv7 (You Only Look Once version 7) together with coordinate attention and related accuracy fine-tuning techniques such as label smoothing and ensemble method to train deep learning models for automatic road damage detection and classification. The proposed approaches are applied to the Crowdsensing-based Road Damage Detection Challenge (CRDDC2022), IEEE BigData 2022. The results show that the data collection from Google Street View is efficient, and the proposed deep learning approach results in F1 scores of 81.7% on the road damage data collected from the United States using Google Street View and 74.1% on all test images of this dataset.

研究の動機と目的

• Googleストリートビューを活用して、グローバルなカバレッジと頻繁な更新を実現する、道路損傷データの収集およびラベリングのための効率的で自動化されたパイプラインの構築。
• 最先端のYOLOv7に注目機構とハイパーパramータチューニングを組み合わせることで、道路損傷分類のオブジェクト検出精度を向上。
• CRDDC2022ベンチマークデータセットに提案モデルを適用・評価し、実世界での性能を評価。
• データオーグメンテーション、ラベルスムージング、アンサンブル学習技術を活用して、検出のロバスト性を向上。
• 今後の自動道路状態監視分野の研究を支援するため、公開可能なデータセットとモデルコードを貢献。

提案手法

• グローバルカバレッジと頻繁な更新を実現するため、体系的なデータ収集パイプラインを用いてGoogleストリートビューから道路画像を収集。
• リアルタイム推論に適した速度と精度を兼ね備えたYOLOv7をベースオブジェクト検出モデルとして採用。
• 空間的特徴表現を強化し、局所化精度を向上させるために、座標注意モジュールを統合。
• 過学習を低減し一般化性能を向上させるために、ラベルスムージングとデータオーグメンテーション技術を採用。
• 複数のYOLOv7モデルを組み合わせることで予測信頼性とF1スコアを向上させるアンサンブル学習を実施。
• 検証セットにおけるmAP@0.5を用いてハイパーパramータを微調整し、最終モデルはテストセットにおけるF1スコアで評価。

実験結果

リサーチクエスチョン

• RQ1 Googleストリートビューは、深層学習モデルの学習に適した大規模かつ多様な道路損傷画像の収集・ラベリングに効果的に活用可能か？
• RQ2 YOLOv7に座標注意機構を統合することで、道路損傷分類の検出精度はどのように向上するか？
• RQ3 ラベルスムージングとアンサンブル手法は、道路損傷検出におけるYOLOv7のロバスト性とF1スコアにどの程度寄与するか？
• RQ4 異なる地理的地域において、損傷タイプや画像品質の違いがある中で、提案モデルの性能はどのように変動するか？
• RQ5 本アプローチは、CRDDC2022のような実世界ベンチマークで最先端の性能を達成できるか？

主な発見

• Googleストリートビューを用いたデータ収集手法は、効率的でスケーラブルであり、多様な地理的場所からの最新の道路画像を容易に入手可能にした。
• 座標注意機構を統合したYOLOv7モデルは、米国テストセットでF1スコア81.7%を達成し、縦方向および一般的な損傷タイプに対して優れた性能を示した。
• 全データセットにおけるテストF1スコアは74.1%であり、CRDDC2022チャレンジで51チーム中3位を獲得した。
• 米国および日本テストセットで最も高い性能が観察され、利用可能なトレーニング画像の量が多く、損傷タイプが明確に識別できる地域と相関していた。
• ラベルスムージングとアンサンブル技術の活用により、インドやノルウェーのような低データ地域でも一般化性能とロバスト性が向上した。
• 計算リソースの制限にもかかわらず、標準的なYOLOv7構成でも高い精度を達成できることを示した。YOLOv7-XやYOLOv7-E6などの heavier バージョンを用いることで、さらなる性能向上が期待できる。