[論文レビュー] Road Damage Detection Using Deep Neural Networks with Images Captured Through a Smartphone

Hiroya Maeda, Yoshihide Sekimoto+3 more|arXiv (Cornell University)|Jan 29, 2018

Infrastructure Maintenance and Monitoring参考文献 26被引用数 248

ひとこと要約

著者らはスマートフォンで撮影された大規模な道路損傷データセットを作成し、SSDベースの検出器を訓練して8種類の損傷タイプを分類し、公開データセットとコードを用いたスマートフォン上でのリアルタイム推論を示す。

ABSTRACT

Research on damage detection of road surfaces using image processing techniques has been actively conducted, achieving considerably high detection accuracies. Many studies only focus on the detection of the presence or absence of damage. However, in a real-world scenario, when the road managers from a governing body need to repair such damage, they need to clearly understand the type of damage in order to take effective action. In addition, in many of these previous studies, the researchers acquire their own data using different methods. Hence, there is no uniform road damage dataset available openly, leading to the absence of a benchmark for road damage detection. This study makes three contributions to address these issues. First, to the best of our knowledge, for the first time, a large-scale road damage dataset is prepared. This dataset is composed of 9,053 road damage images captured with a smartphone installed on a car, with 15,435 instances of road surface damage included in these road images. In order to generate this dataset, we cooperated with 7 municipalities in Japan and acquired road images for more than 40 hours. These images were captured in a wide variety of weather and illuminance conditions. In each image, we annotated the bounding box representing the location and type of damage. Next, we used a state-of-the-art object detection method using convolutional neural networks to train the damage detection model with our dataset, and compared the accuracy and runtime speed on both, using a GPU server and a smartphone. Finally, we demonstrate that the type of damage can be classified into eight types with high accuracy by applying the proposed object detection method. The road damage dataset, our experimental results, and the developed smartphone application used in this study are publicly available (https://github.com/sekilab/RoadDamageDetector/).

研究の動機と目的

• 実用的な保守作業に資するため、タイプ別の損傷分類を要求して実践的な道路損傷評価を促進する。
• 多様な条件下で車載スマートフォンから撮影された道路損傷画像の統一的で公開可能なデータセットを作成する。
• 道路損傷検知・分類タスクにおける最先端の深層物体検出器を評価する。
• エンドツーエンドの深層学習をモバイル対応プラットフォーム上で用い、損傷タイプを高精度で識別できることを示す。

提案手法

• 車載スマートフォンで撮影された9,053件の注釈付き道路損傷画像（15,435件の損傷事例）からなる大規模データセットを作成する。
• 本データセット上でSSDベースの物体検出器（SSD Inception V2およびSSD MobileNet）を訓練・評価する。
• 600x600の画像をSSD入力用に300x300へリサイズし、学習率スケジュールは以下のとおりとする（Inception V2: 0.002、10kイテレーションごとに0.95の減衰、MobileNet: 0.003、10kイテレーションごとに0.95の減衰）。
• IOU閾値0.5で性能を評価し、クラス別のリコール、適合率、精度を報告する。
• 速度を分析する：GPUベースの推論とスマートフォンベースの推論（MobileNetの方が速い; スマートフォンは約1500 ms）。
• 公開可能な訓練済みモデル、コード、およびリアルタイム検出用のスマートフォンアプリを提供する。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンで撮影された画像から、エンドツーエンドの深層学習物体検出器は8種類の道路損傷を正確に分類できるか？
• RQ2 大規模で公開可能なスマートフォンベースの道路損傷データセットは、ベンチマーク作成に実現性があり有用か？
• RQ3 このデータセット上のSSDベース検 detectors の検出性能（リコール/精度）と推論速度はどうなるか、デバイス上のスマートフォン推論を含めて。

主な発見

• 9,053件の注釈付き道路損傷画像（15,435件の損傷事例）を作成・公開した。
• SSD MobileNetはクラス全体でSSD Inception V2より良好な結果を達成し、オンデバイス推論能力も大きい。
• 最良の構成は一部の損傷タイプでリコールと適合率が75%以上を達成した。
• スマートフォンベースの検出は1枚あたり約1.5秒で実行でき、移動中の車両でのリアルタイムな路上評価を可能にする。
• スマートフォンでの推論は検出クラスのサーバーベースの精度と同等であり、実地展開を可能にする。