[論文レビュー] Transfer Learning-based Road Damage Detection for Multiple Countries

Deeksha Arya, Hiroya Maeda+5 more|arXiv (Cornell University)|Aug 30, 2020

Infrastructure Maintenance and Monitoring参考文献 35被引用数 68

ひとこと要約

本論文は、日本のスマートフォンベースの路面損傷検出モデルのインドおよびチェコ共和国での実用性を評価し、大規模で異種の多国間データセットを作成し、混在国データで学習した一般化された転移学習モデルを提案して路面損傷を検出・分類する。

ABSTRACT

Many municipalities and road authorities seek to implement automated evaluation of road damage. However, they often lack technology, know-how, and funds to afford state-of-the-art equipment for data collection and analysis of road damages. Although some countries, like Japan, have developed less expensive and readily available Smartphone-based methods for automatic road condition monitoring, other countries still struggle to find efficient solutions. This work makes the following contributions in this context. Firstly, it assesses the usability of the Japanese model for other countries. Secondly, it proposes a large-scale heterogeneous road damage dataset comprising 26620 images collected from multiple countries using smartphones. Thirdly, we propose generalized models capable of detecting and classifying road damages in more than one country. Lastly, we provide recommendations for readers, local agencies, and municipalities of other countries when one other country publishes its data and model for automatic road damage detection and classification. Our dataset is available at (https://github.com/sekilab/RoadDamageDetector/).

研究の動機と目的

• 他国に対する日本の路面損傷検出モデルの実用性を評価する。
• スマートフォンを用いた多国籍の大規模な異種データセットを作成する。
• 国を跨いで路面損傷を検出・分類できる一般化モデルを開発する。
• 跨国データ/モデルの採用を検討する自治体への実用的な推奨事項を提供する。

提案手法

• 日本、インド、チェコ共和国（スロバキアは一部）からスマートフォンベースの路面損傷データセットを収集・アノテーションする。
• 国を跨った適用性を確保するために4つの損傷カテゴリ（D00, D10, D20, D40）を定義する。
• 画像をlabelImgでアノテーションし、TensorFlow Object Detection API用のTFRecord形式に変換する。
• MobileNet SSDを用いた転移学習で30の訓練/テストシナリオを対象に、16個の深層ニューラルネットワークモデルを訓練する。
• IoU=0.5で損傷カテゴリごとに精度、再現率、F1スコアを用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 日本で訓練された日本データのRDDモデルは、インドおよびチェコ共和国の路面損傷を効果的に検出できるか。
• RQ2 複数の国のデータを混ぜて訓練することで、跨国検出性能が改善されるか。
• RQ3 訓練データ量（2k–18k画像）が1つまたは複数の国からである場合、モデルの精度にどう影響するか。
• RQ4 跨国データ/モデルの再利用を検討している国に対する実用的な推奨事項は何か。

主な発見

• 日本データで訓練したモデルは、インドとチェコのテストデータで性能が低く、適応なしの跨国転送には限界があることを示している。
• 日本+インドのデータで訓練したモデルは日本の性能を改善するが、クラス不均衡のため代表不足カテゴリ（例：D10）には留意が必要。
• 複数元データ訓練（インド+日本、またはインド+日本+チェコ）は、ほとんどの損傷カテゴリで跨国検出性能を一般的に向上させるものの、カテゴリと対象国によって利得は異なる。
• 対象が日本の場合、インド+日本データで訓練したモデルは、いくつかのカテゴリ（D00, D20, D40）で日本のみの訓練より高いF1スコアを示す傾向がある。
• 対象がインドの場合、混合データには改善が見られるが、カテゴリ不均衡（例：D10）が印度データの追加で画像数が増えると性能を抑制する可能性がある。