[論文レビュー] Feature Pyramid and Hierarchical Boosting Network for Pavement Crack Detection

Fan Yang, Lei Zhang+4 more|arXiv (Cornell University)|Jan 18, 2019

Infrastructure Maintenance and Monitoring参考文献 60被引用数 61

ひとこと要約

FPHBNは特徴ピラミッドと階層ブースティングを導入し、舗装亀裂検知を改善し、複数データセットで複数のベースラインより高いAIU、ODS、OISを達成します。また亀裂検知の新しいAIU指標を提案します。

ABSTRACT

Pavement crack detection is a critical task for insuring road safety. Manual crack detection is extremely time-consuming. Therefore, an automatic road crack detection method is required to boost this progress. However, it remains a challenging task due to the intensity inhomogeneity of cracks and complexity of the background, e.g., the low contrast with surrounding pavements and possible shadows with similar intensity. Inspired by recent advances of deep learning in computer vision, we propose a novel network architecture, named Feature Pyramid and Hierarchical Boosting Network (FPHBN), for pavement crack detection. The proposed network integrates semantic information to low-level features for crack detection in a feature pyramid way. And, it balances the contribution of both easy and hard samples to loss by nested sample reweighting in a hierarchical way. To demonstrate the superiority and generality of the proposed method, we evaluate the proposed method on five crack datasets and compare it with state-of-the-art crack detection, edge detection, semantic segmentation methods. Extensive experiments show that the proposed method outperforms these state-of-the-art methods in terms of accuracy and generality.

研究の動機と目的

• 自動舗装亀裂検知を促進し、時間のかかる手動検査を置換する。
• 特徴ピラミッドを介してマルチスケールの文脈を統合する深層学習アーキテクチャを開発する。
• 階層ブースティングを用いて訓練時のeasy/ hardサンプルのバランスを取る。
• 亀裂の幅とアノテーションバイアスを考慮した堅牢な評価指標（AIU）を提供する。
• 複数の亀裂データセットに対する一般化を示す。

提案手法

• マルチレベルの特徴マップを形成するボトムアップのVGGベースの特徴抽出器を採用する。
• トップダウンの特徴ピラミッドを構築し、 lower-level features に文脈を注入する。
• 各レベルで深層監視のサイドネットワークを追加する。
• 階層ブースティングを適用してサイドネットワーク間でサンプルをトップダウン方式で再重み付けする。
• マルチスケールのサイド予測を融合し、シグモイド交差エントロピー損失で最適化する。
• AIUを用いて評価し、従来のPR由来の指標（ODS/OIS）と併用する。

実験結果

リサーチクエスチョン

• RQ1 特徴ピラミッドは高レベルの文脈を注入することで低レベルの亀裂検知を改善できるか。
• RQ2 階層ブースティングは訓練時にモデルが難易度の高い亀裂/非亀裂サンプルに焦点を当てるのを助けるか。
• RQ3 AIUはPRベースの指標と比較して、亀裂幅を考慮した評価において頑健な補完指標となるか。
• RQ4 提案された構成要素は多様な舗装亀裂データセット間の一般化を改善するか。

主な発見

Method	AIU	ODS	OIS	time/image (s)
HED [16]	0.481	0.575	0.625	0.067 (GPU)
RCF [22]	0.403	0.490	0.586	0.066 (GPU)
FCN [23]	0.379	0.513	0.577	0.101 (GPU)
CrackForest [2]	N/A	0.199	0.199	2.951 (CPU)
FPHBN	0.489	0.604	0.635	0.197 (GPU)

• FPHBNは CRACK500 バリデーションで AIU 0.560 を達成し、HED-FP（0.553）およびベースラインの HED（0.541）を上回る。
• CRACK500 テストでは FPHBN が AIU 0.489、ODS 0.604、OIS 0.635 を達成し、これらの指標で HED、RCF、FCN のベースラインを上回る。
• アブレーション実験では、HED に特徴ピラミッドを追加した HED-FP の AIU は 0.553 に上昇し、階層ブースティングを追加した FP HBN でさらに AIU が 0.560 に達した。
• GAPs384 では FPHBN が AIU 0.081、ODS 0.220、OIS 0.231 を達成し、このデータセットで HED/RCF/FCN ベースラインより良好な性能を示す。
• 評価された手法全体で、FPHBN はエッジ/セグメンテーションベースラインに比べ、亀裂の検出がよりはっきりし、偽陽性が少ないことを示す（視覚的結果と曲線）。
• FPHBN は CRACK500 推論時に GPU で画像あたり約 0.197 秒程度の実用的な効率を示す。