[論文レビュー] Crowdsensing-based Road Damage Detection Challenge (CRDDC-2022)

Deeksha Arya, Hiroya Maeda+5 more|arXiv (Cornell University)|Nov 21, 2022

Infrastructure Maintenance and Monitoring被引用数 4

ひとこと要約

本論文は、6か国から収集されたクラウドソーシング画像を用いて、道路損傷を同定するためのオブジェクト検出モデルを評価したグローバルデータコンペティションであるCrowdsensingベースの道路損傷検出チャレンジ（CRDDC-2022）を提示する。最良のパフォーマンスを示したソリューションは、YOLOとFaster R-CNNモデルのアンサンブルを採用し、全6か国の統合テストセットでF1スコア76％を達成した。これは、多様な実世界データを用いた道路損傷検出において、顕著なクロスレジオンの一般化性能を示している。

ABSTRACT

This paper summarizes the Crowdsensing-based Road Damage Detection Challenge (CRDDC), a Big Data Cup organized as a part of the IEEE International Conference on Big Data'2022. The Big Data Cup challenges involve a released dataset and a well-defined problem with clear evaluation metrics. The challenges run on a data competition platform that maintains a real-time online evaluation system for the participants. In the presented case, the data constitute 47,420 road images collected from India, Japan, the Czech Republic, Norway, the United States, and China to propose methods for automatically detecting road damages in these countries. More than 60 teams from 19 countries registered for this competition. The submitted solutions were evaluated using five leaderboards based on performance for unseen test images from the aforementioned six countries. This paper encapsulates the top 11 solutions proposed by these teams. The best-performing model utilizes ensemble learning based on YOLO and Faster-RCNN series models to yield an F1 score of 76% for test data combined from all 6 countries. The paper concludes with a comparison of current and past challenges and provides direction for the future.

研究の動機と目的

• 多様な地理的・インfra構造的・撮影条件においても安定して性能を発揮できる、耐障害性・一般化性に優れた道路損傷検出システムの開発。
• 縦方向クラック、横方向クラック、アラガトリクラック、ポットホールの4つの一般的な道路損傷タイプを検出するためのアンサンブル深層学習モデルの有効性の評価。
• データのクラウドソーシングによる寄付を可能とすることで、収集済みデータセットにとどまらず、複数の国から得られる実世界のばらつきを含めたデータ拡張。
• 実世界の画像におけるオブジェクト検出を用いた、国境を越えた道路状態評価のための標準化ベンチマークの確立。
• 現在のチャレンジにおける限界を特定し、今後のバージョン改善のための提案（計算リソースの支援、評価指標の拡張など）

提案手法

• 第1フェーズでは参加者が自らのデータセットを提案・寄付可能であったが、第3フェーズでは公平性と一貫性を確保するため、提供済みの訓練データのみが使用された。
• リアルタイムのオンライン評価システムを採用し、6か国の国別リーダーボードに加え、全6か国の統合リーダーボードを設置した。
• 最上位のモデルはアンサンブル学習を採用し、YOLOシリーズおよびFaster R-CNNシリーズのアーキテクチャを組み合わせ、ImageNet事前学習済みバックボーン（例：ResNet-101、VGG-16）を用いた。
• 第3フェーズでは、モデルの一般化性能向上を目的としたデータ拡張および前処理が許可されたが、第1フェーズ以降に新たなデータやラベルの追加は不可であった。
• 評価は平均平均精度（mAP）およびF1スコアに基づき、インド、日本、チェコ、ノルウェー、米国、中国の6か国の未観測テスト画像上で実施された。
• データセットは、スマートフォン、ドローン、オートバイ、広角カメラを用いて収集された47,420枚のアノテート済み道路画像から構成されており、解像度、照明、損傷の外観に実世界のばらつきを反映している。

Figure 1 : Distribution of images across different countries in RDD2022

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、道路損傷検出において、多様な地理的・インfra構造的条件下でもどれほど一般化性能を発揮できるか？
• RQ2 YOLOおよびFaster R-CNNアーキテクチャを用いたアンサンブル学習が、国境を越えた道路損傷検出性能に与える影響は何か？
• RQ3 複数の国から収集されたクラウドソーシングデータの統合は、単一国データセットと比較して、モデルの頑健性および一般化性能にどのような影響を与えるか？
• RQ4 計算リソース要件、時間配分、評価指標の観点から、現在のチャレンジにおける主な限界は何か？
• RQ5 将来的に、計算リソースが限られた参加者をより効果的に支援し、参加の拡大を促進するには、どのような工夫が必要か？

主な発見

• 最良のモデルは、全6か国の統合テストセットでF1スコア76％を達成し、顕著なクロスレジオン一般化性能を示した。
• 最上位のソリューションは、ImageNet事前学習済みのResNet-101およびVGG-16バックボーンを用いたYOLOv5とFaster R-CNNのアンサンブルを採用し、単一アーキテクチャモデルを上回る性能を示した。
• 本チャレンジには19か国の60名以上のチームが参加し、国境を越えた道路損傷検出分野における強い国際的関心がうかがえる。
• RDD2022データセットに含まれる高解像度画像は、計算負荷を増加させ、GPUリソースが限られたユーザーの参加を制限した。
• 参加者からは、実験に十分な時間が与えられていないとの要望があり、今後のチャレンジでは長期的な競技期間の延長が求められている。
• 今後のチャレンジでは、深刻度分析、ピクセルレベルのセグメンテーション、推論速度やモデルサイズといった追加指標の導入を検討すべきである。

Figure 2 : Distribution of different damage type instances in training data released for CRDDC’2022