[論文レビュー] FPCNet: Fast Pavement Crack Detection Network Based on Encoder-Decoder Architecture

Wenjun Liu, Yuchun Huang+2 more|arXiv (Cornell University)|Jul 4, 2019

Infrastructure Maintenance and Monitoring参考文献 39被引用数 45

ひとこと要約

FPCNetはEncoder-Decoderフレームワーク内にMulti-Dilation (MD)とSE-Upsampling (SEU)モジュールを導入し、多-context featuresと適応的特徴重み付けを実現してピクセルレベルの舗装亀裂検出を行い、最先端の精度と速度を達成します。

ABSTRACT

Timely, accurate and automatic detection of pavement cracks is necessary for making cost-effective decisions concerning road maintenance. Conventional crack detection algorithms focus on the design of single or multiple crack features and classifiers. However, complicated topological structures, varying degrees of damage and oil stains make the design of crack features difficult. In addition, the contextual information around a crack is not investigated extensively in the design process. Accordingly, these design features have limited discriminative adaptability and cannot fuse effectively with the classifiers. To solve these problems, this paper proposes a deep learning network for pavement crack detection. Using the Encoder-Decoder structure, crack characteristics with multiple contexts are automatically learned, and end-to-end crack detection is achieved. Specifically, we first propose the Multi-Dilation (MD) module, which can synthesize the crack features of multiple context sizes via dilated convolution with multiple rates. The crack MD features obtained in this module can describe cracks of different widths and topologies. Next, we propose the SE-Upsampling (SEU) module, which uses the Squeeze-and-Excitation learning operation to optimize the MD features. Finally, the above two modules are integrated to develop the fast crack detection network, namely, FPCNet. This network continuously optimizes the MD features step-by-step to realize fast pixel-level crack detection. Experiments are conducted on challenging public CFD datasets and G45 crack datasets involving various crack types under different shooting conditions. The distinct performance and speed improvements over all the datasets demonstrate that the proposed method outperforms other state-of-the-art crack detection methods.

研究の動機と目的

• メンテナンス意思決定のための多様な亀裂トポロジーと撮影条件に対して正確な自動舗装亀裂検出を動機づける。
• 複数スケールの文脈亀裂情報を活用したエンドツーエンドの深層学習ネットワークを開発する。
• 単一コンテキストFCNの限界を克服し、マルチコンテキスト特徴学習と適応融合を可能にする。

提案手法

• 複数のコンテキストサイズからの亀裂特徴をダイレーション畳み込みで融合し、レート {1,2,3,4}とグローバルプーリング経路を用いるMulti-Dilation (MD)モジュールを導入する。
• SE-Upsampling (SEU)モジュールを開発し、アップサンプリングされたMD特徴をエンコーダ特徴と加算とSqueeze-and-Excitationによるチャネル重み付けを通じて融合する。
• MDとSEUモジュールをEncoder-Decoderアーキテクチャに組み込み、エンドツーエンドのピクセルレベル亀裂検出のためのFPCNetを形成する。
• 1x1畳み込みの後にシグモイドを適用して各ピクセルの亀裂確率マップを生成する。
• データ拡張とSGD with momentumを用いた頑健な学習で、バイナリクロスエントロピーとDice lossを組み合わせて訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチコンテキスト特徴表現は、幅広い亀裂の幅とトポロジーにわたって亀裂検出を改善できるか。
• RQ2 SE-学習による亀裂特徴の適応重み付けは、単純な特徴連結よりもピクセルレベルのセグメンテーションを改善するか。
• RQ3 エンドツーエンドのFPCNetは、公開データセット全体で既存のFCNベース亀裂検出器より速く正確か。
• RQ4 難しい亀裂タイプと撮影条件（油染み、影、低コントラスト）でFPCNetは最先端手法と比べてどうか。

主な発見

Method	許容マージン	Precision	Recall	F1スコア
CrackForest [28]	5	82.28%	89.44%	85.71%
MFCD [36]	5	89.90%	89.47%	88.04%
Method [37]	2	90.70%	84.60%	87.00%
Method [18]	2	91.19%	94.81%	92.44%
FCN [21]	2	97.29%	94.56%	95.90%
FPCNet	2	97.48%	96.39%	96.93%

• CFDデータセットで、FPCNetはF1スコア96.93%を達成し、以前のベストを4.49ポイント上回る。
• FPCNetはCFDでFCNやいくつかの最先端手法より高い精度と再現率を達成（Precision 97.48%, Recall 96.39%）。
• FPCNetは14.7 FPS（67.9 ms per image）で動作し、同様のハードウェア下で比較対象のMethod [18]より約5.7x高速。
• SEU融合は冗長な特徴の使用を減らし、チャネル重み付けを介して亀裂に関する手掛かりを強調し、ノイズと亀裂幅の変化に対する頑健性を向上させる。
• G45データセットで、Transverse 97.51% F1、Longitudinal 95.76% F1、Block 90.71% F1、Alligator 94.75% F1というタイプ別の強力な性能を示す。
• MDモジュールは追加コストを抑えつつマルチコンテキスト学習を可能にし、コンテキストを拡張してもより大きいフィルタを使わずに速度を維持する。