[論文レビュー] Advances in deep learning methods for pavement surface crack detection and identification with visible light visual images

Kai-liang Lu|arXiv (Cornell University)|Dec 29, 2020

Infrastructure Maintenance and Monitoring参考文献 16被引用数 8

ひとこと要約

本論文は、可視光画像を用いた舗装亀裂検出のためのディーブラーニング手法をレビューし、組み込みプラットフォーム上でリアルタイムで高精度なピクセル単位のセグメンテーションを実現することに焦点を当てている。軽量モデル、特にMobileNetベースの転移学習が、簡単なサンプルでは99.8%以上の精度、挑戦的なサンプルでは97.5%の精度（SDNET2018でのFPCNet）を達成し、1枚あたりの推論速度が10ms未塔であることを示しており、実用的で高性能な亀裂検出システムにおける大きな前進を示している。

ABSTRACT

Compared to NDT and health monitoring method for cracks in engineering structures, surface crack detection or identification based on visible light images is non-contact, with the advantages of fast speed, low cost and high precision. Firstly, typical pavement (concrete also) crack public data sets were collected, and the characteristics of sample images as well as the random variable factors, including environmental, noise and interference etc., were summarized. Subsequently, the advantages and disadvantages of three main crack identification methods (i.e., hand-crafted feature engineering, machine learning, deep learning) were compared. Finally, from the aspects of model architecture, testing performance and predicting effectiveness, the development and progress of typical deep learning models, including self-built CNN, transfer learning(TL) and encoder-decoder(ED), which can be easily deployed on embedded platform, were reviewed. The benchmark test shows that: 1) It has been able to realize real-time pixel-level crack identification on embedded platform: the entire crack detection average time cost of an image sample is less than 100ms, either using the ED method (i.e., FPCNet) or the TL method based on InceptionV3. It can be reduced to less than 10ms with TL method based on MobileNet (a lightweight backbone base network). 2) In terms of accuracy, it can reach over 99.8% on CCIC which is easily identified by human eyes. On SDNET2018, some samples of which are difficult to be identified, FPCNet can reach 97.5%, while TL method is close to 96.1%. To the best of our knowledge, this paper for the first time comprehensively summarizes the pavement crack public data sets, and the performance and effectiveness of surface crack detection and identification deep learning methods for embedded platform, are reviewed and evaluated.

研究の動機と目的

• 公開利用可能な舗装亀裂データセットとその特徴、特に環境的要因やノイズ関連のばらつきを体系的に要約すること。
• 手作業特徴抽出、機械学習、ディーブラーニングの各手法の強みと限界を比較すること。
• 自己構築CNN、転移学習（TL）、エンコーダデコーダ（ED）アーキテクチャを含むディーブラーニングモデルの性能、効率性、実装可能性を組み込みプラットフォーム上で評価すること。
• 可視光イメージングを用いた実際の現場環境におけるリアルタイムで高精度な亀裂検出のためのベンチマークを確立すること。

提案手法

• CCICおよびSDNET2018を含む主要な公開舗装亀裂データセットの収集と分析を行い、画像のばらつきやノイズ要因を特徴づけること。
• 主な3つのアプローチ（手作業特徴抽出、従来の機械学習、ディーブラーニング）を評価し、精度と複雑さのトレードオフに焦点を当てる。
• 3種類のディーブラーニングアーキテクチャ（自己構築CNN、InceptionV3およびMobileNetバックボーンを用いた転移学習、FPCNetのようなエンコーダデコーダモデル）の実装とベンチマーク評価。
• 特に組み込みデプロイメントに適した、MobileNetベースの転移学習を活用した軽量ネットワーク設計による推論速度と精度の最適化。
• 標準指標を用いたベンチマークデータセット上のパフォーマンス評価を行い、推論時間とピクセル単位のセグメンテーション精度に焦点を当てる。
• 組み込みプラットフォーム上でのリアルタイムテストにより、現場応用におけるデプロイメント可能性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 公開利用可能な舗装亀裂画像データセットの主な特徴と課題は何か。特に環境的要因やノイズのばらつきを含む。
• RQ2 手作業特徴抽出、機械学習、ディーブラーニング手法は、亀裂検出において精度と計算効率の観点からどのように比較できるか。
• RQ3 ディーブラーニングモデルは、現場へのデプロイメントに適した低消費電力の組み込みプラットフォーム上でリアルタイムで高精度な亀裂検出を達成できるか。
• RQ4 FPCNetやMobileNetベースの転移学習を含む最先端のディーブラーニングモデルは、CCICやSDNET2018のようなベンチマークデータセットでどの程度のパフォーマンスを示すか。
• RQ5 組み込みデプロイメント環境において、推論速度と検出精度のトレードオフはどのように現れるか。

主な発見

• FPCNetエンコーダデコーダモデルは、挑戦的なSDNET2018データセットでピクセル単位の亀裂検出精度が97.5%に達した。
• MobileNetベースの転移学習モデルは、1枚あたり10ms未塔の推論時間を達成し、組み込みプラットフォーム上でのリアルタイム処理を可能にした。
• InceptionV3ベースの転移学習モデルは、1枚あたり100ms未塔の推論時間を達成し、リアルタイム応用に適していた。
• CCICデータセットでは、亀裂が明確に識別可能なため、最良のモデルが99.8%を超える精度を達成した。
• 本研究は、組み込みシステム上でディーブラーニングベースの舗装亀裂検出のための、初めての包括的ベンチマークを確立した。高精度と低レイテンシを両立していることを示した。
• 結果から、特にMobileNetバックボーンを用いた軽量ディーブラーニングモデルは、実世界のインfraストラクチャ点検システムにおいて、極めて高精度かつ実装可能であることが確認された。