[論文レビュー] Road Damage Detection and Classification with Detectron2 and Faster R-CNN

Vung Pham, Chau Pham+1 more|arXiv (Cornell University)|Oct 28, 2020

Infrastructure Maintenance and Monitoring参考文献 30被引用数 9

ひとこと要約

本論文では、グローバルロードダメージ検出チャレンジ2020データセットにおける道路損傷検出および分類のため、Detectron2とFaster R-CNN、X101-FPNバックボーンの使用を提案する。テストセットにおけるF1スコアが51.0%および51.4%にとどまるものの、研究ではトレーニングデータに顕著なラベル付けエラーが存在することを特定し、モデルの一般化性能を向上させるために、ノイジィーストゥーデント手法を用いた自己教師型学習によるデータキュレーションの改善を提言する。

ABSTRACT

The road is vital for many aspects of life, and road maintenance is crucial for human safety. One of the critical tasks to allow timely repair of road damages is to quickly and efficiently detect and classify them. This work details the strategies and experiments evaluated for these tasks. Specifically, we evaluate Detectron2's implementation of Faster R-CNN using different base models and configurations. We also experiment with these approaches using the Global Road Damage Detection Challenge 2020, A Track in the IEEE Big Data 2020 Big Data Cup Challenge dataset. The results show that the X101-FPN base model for Faster R-CNN with Detectron2's default configurations are efficient and general enough to be transferable to different countries in this challenge. This approach results in F1 scores of 51.0% and 51.4% for the test1 and test2 sets of the challenge, respectively. Though the visualizations show good prediction results, the F1 scores are low. Therefore, we also evaluate the prediction results against the existing annotations and discover some discrepancies. Thus, we also suggest strategies to improve the labeling process for this dataset.

研究の動機と目的

• クロスカントリーにおける道路損傷検出および分類のための最先端オブジェクト検出モデルの評価。
• 特にラベル付けの不整合性に起因する、グローバルロードダメージ検出チャレンジ2020データセットの制限の同定。
• 自己教師型学習を用いた人間を含むラベル付け戦略のスケーラブルな実装によるデータ品質の向上。
• 多様な地理的地域に適用可能な、移譲可能で汎用的な自動道路損傷検出モデルの開発。
• データ品質がモデル性能に与える影響の評価と、アノテーションパイプラインの改善提案。

提案手法

• ResNeXt-101-FPNを含む、さまざまなバックボーンアーキテクチャを用いて、Detectron2のFaster R-CNN実装を採用。
• チェコ、インド、日本からの画像およびバウンディングボックスアノテーションを含む、グローバルロードダメージ検出チャレンジ2020データセットを用いてモデルを訓練。
• 標準的な評価指標を適用：バウンディングボックスマッチングのためのIoU閾値0.5に基づくF1スコア（精度、再現率を含む）。
• モデル予測の定性的分析を実施し、正解アノテーションと比較することで、ラベル付けの不一致を特定。
• 未ラベルデータに対する高信頼度の疑似ラベルを生成するためのノイジィーストゥーデント自己トレーニングパイプラインを提案。
• 画像の明るさやズーム調整を含む、より良いラベル検査を支援する強化された人間による検証ワークフローを提案。

実験結果

リサーチクエスチョン

• RQ1 Detectron2におけるFaster R-CNNバックボーンおよび設定のうち、異なる国における道路損傷検出において、最も頑健で一般化可能な性能を発揮するのはどれか？
• RQ2 トレーニングセットにおけるラベル付けエラーは、道路損傷検出におけるディープラーニングモデルの性能にどのように影響するか？
• RQ3 ノイジィーストゥーデント手法を含む自己教師型学習技術は、道路損傷アノテーションの品質とスケーラビリティをどの程度向上できるか？
• RQ4 モデルの予測結果を、既存データセットのラベル付けエラーを特定および是正するために信頼性を持って利用できるか？
• RQ5 アノテーションパイプラインにどのような改善を加えることで、道路損傷画像のラベリングにおける人為的誤差を低減し、効率を向上できるか？

主な発見

• Detectron2のデフォルト設定を用いたX101-FPNバックボーンは、test1でF1スコア51.0%、test2で51.4%を達成し、中程度ではあるが安定した性能を示した。
• 良好な視覚的予測が得られても、低水準のF1スコアは、トレーニングセットにおける正解アノテーションに深刻な問題があることを示唆している。
• 誤ったパッチホールのバウンディングボックスなど、複数の誤ってラベル付けされたインスタンスが特定され、ラベル付けパイプラインの誤りが示された。
• 一部のラベルが人間による検証を経ずにモデルによって生成された可能性があることから、自動ラベリングの欠陥が判明した。
• ノイジィーストゥーデント自己トレーニングアプローチは、データ品質とモデル一般化性能の向上のためのスケーラブルな解決策として提案された。
• 著者らは、疑似ラベル化データの正確な人間による検証を支援するため、画像前処理（例：明るさとズーム調整）の推奨を提案した。