[論文レビュー] Road Damage Detection And Classification In Smartphone Captured Images Using Mask R-CNN

Janpreet Singh, Shashank Shekhar|arXiv (Cornell University)|Nov 11, 2018

Infrastructure Maintenance and Monitoring被引用数 15

ひとこと要約

この論文では、スマートフォンで撮影された画像におけるエンドツーエンドの道路損傷検出および分類にMask R-CNNを活用し、インスタンスセグメンテーションとオブジェクト検出を組み合わせることで、現実世界の条件下でも高い精度を達成することを提案する。本研究では、50%のIoUで平均F1スコア0.528、NVIDIA GeForce RTX 1080Ti上で1枚あたり0.105秒の平均推論時間を達成した。

ABSTRACT

This paper summarizes the design, experiments and results of our solution to the Road Damage Detection and Classification Challenge held as part of the 2018 IEEE International Conference On Big Data Cup. Automatic detection and classification of damage in roads is an essential problem for multiple applications like maintenance and autonomous driving. We demonstrate that convolutional neural net based instance detection and classfication approaches can be used to solve this problem. In particular we show that Mask-RCNN, one of the state-of-the-art algorithms for object detection, localization and instance segmentation of natural images, can be used to perform this task in a fast manner with effective results. We achieve a mean F1 score of 0.528 at an IoU of 50% on the task of detection and classification of different types of damages in real-world road images acquired using a smartphone camera and our average inference time for each image is 0.105 seconds on an NVIDIA GeForce 1080Ti graphic card. The code and saved models for our approach can be found here : https://github.com/sshkhr/BigDataCup18 Submission

研究の動機と目的

• 実際のスマートフォンで撮影された画像における、複数の種類の道路損傷を検出および分類する課題に対処すること。
• 照明の変化、天候の違い、損傷の重複といった要因による課題を克服すること。
• 低リソースで現実世界のデータセットにおいて、インスタンスレベルの検出と分類にMask R-CNNが有効であることを示すこと。
• 一般消費者向けGPUに適した高速な推論速度を達成すること。
• IEEE BigData 2018カップチャレンジのベンチマークデータセットを用い、標準化された指標でモデルを評価すること。

提案手法

• MS-COCOデータセットで事前学習されたMask R-CNNモデルを、ResNet-101-FPNバックボーンを用いて、道路損傷検出に向け微調整する。
• データセットのサイズが限られていることから、データの多様性を高めるために水平反転によるデータオーグメンテーションを適用する。
• ImageNetで事前学習された重みを初期値として使用することで、収束性と性能の向上を図る。
• 2段階の学習率スケジューリングを用いて訓練を最適化：初期値を0.001に設定し、2エポックごとに10分の1に減少させる。
• 同じクラスの重複検出を除去するために、0.85のIoU閾値を用いた非最大抑制（NMS）を適用する。
• 50%のIoUで平均F1スコアを用いてエンドツーエンドの性能を評価し、類似度はクラス一致とIoU > 0.5を基準とする。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンで撮影された画像において、照明や視点の違いがある中で、Mask R-CNNは複数の種類の道路損傷を効果的に検出および分類できるか？
• RQ2 データオーグメンテーションと転移学習は、小規模で現実世界の道路損傷データセットにおいて性能をどのように向上させるか？
• RQ3 一般消費者向けGPU上で、Mask R-CNNの推論速度はリアルタイム配備に適しているか？
• RQ4 DeepLabV3 や U-Net を用いて事前に道路領域をセグメンテーションすることで、このデータセットにおける検出性能が向上するか？
• RQ5 重なっているか、近接して配置された損傷インスタンスに対して、モデルの性能はどのように現れるか？

主な発見

• 提案されたMask R-CNNモデルは、テストセットにおいて50%のIoUで平均F1スコア0.528を達成し、優れた検出および分類性能を示した。
• NVIDIA GeForce RTX 1080Ti上での平均推論時間は1枚あたり0.105秒であり、リアルタイムアプリケーションへの適性が示された。
• RTX 1080Tiでは1,813枚のテスト画像に対して合計3分11秒の推論時間を要し、GTX 1050Tiでは8分38秒であった。
• CamVidからターゲットデータセットへのドメインシフトが顕著であったため、DeepLabV3 や U-Net を用いた道路セグメンテーションを事前処理として用いた2段階アプローチは性能向上をもたらさなかった。
• 2エポックごとに学習率を10分の1に減少させるスケジューリング（学習率の徐々な減少）が、テストした設定の中で最も優れた性能を示した。
• IoU閾値0.85を用いた後処理により、重複検出が効果的に削減されたが、全体の精度は低下しなかった。