[论文解读] Feature Pyramid and Hierarchical Boosting Network for Pavement Crack Detection

Fan Yang, Lei Zhang+4 more|arXiv (Cornell University)|Jan 18, 2019

Infrastructure Maintenance and Monitoring参考文献 60被引用 61

一句话总结

FPHBN 引入特征金字塔与分层提升，以提升路面裂缝检测，在多数据集上实现高于若干基线的 AIU、ODS、OIS。它还提出一种用于裂缝检测的新 AIU 指标。

ABSTRACT

Pavement crack detection is a critical task for insuring road safety. Manual crack detection is extremely time-consuming. Therefore, an automatic road crack detection method is required to boost this progress. However, it remains a challenging task due to the intensity inhomogeneity of cracks and complexity of the background, e.g., the low contrast with surrounding pavements and possible shadows with similar intensity. Inspired by recent advances of deep learning in computer vision, we propose a novel network architecture, named Feature Pyramid and Hierarchical Boosting Network (FPHBN), for pavement crack detection. The proposed network integrates semantic information to low-level features for crack detection in a feature pyramid way. And, it balances the contribution of both easy and hard samples to loss by nested sample reweighting in a hierarchical way. To demonstrate the superiority and generality of the proposed method, we evaluate the proposed method on five crack datasets and compare it with state-of-the-art crack detection, edge detection, semantic segmentation methods. Extensive experiments show that the proposed method outperforms these state-of-the-art methods in terms of accuracy and generality.

研究动机与目标

• 促使自动路面裂缝检测以取代耗时的人工检查。
• 开发一种通过特征金字塔融合多尺度上下文的深度学习架构。
• 在训练中通过分层提升平衡简单样本和困难样本。
• 提供一个鲁棒的评估指标（AIU），考虑裂缝宽度和标注偏差。
• 展示在多个裂缝数据集上的泛化能力。

提出的方法

• 采用自底向上的基于 VGG 的特征提取器，形成多级特征图。
• 构建自顶向下的特征金字塔，将上下文注入到较低层特征。
• 在每一层附加侧向网络进行深度监督。
• 应用分层提升，以自顶向下的方式重新对侧网络样本进行加权。
• 融合多尺度的侧预测并用 sigmoid 交叉熵损失进行优化。
• 使用 AIU 进行评估，同时结合传统的基于 PR 的指标（ODS/OIS）。

实验结果

研究问题

• RQ1 特征金字塔通过注入高层上下文是否能改善低层裂缝检测？
• RQ2 分层提升是否帮助模型在训练中专注于困难的裂缝/非裂缝样本？
• RQ3 AIU 是否是对比 PR 基于度量的宽度感知评估的鲁棒互补指标？
• RQ4 所提组件是否在多样化的路面裂缝数据集上提升泛化？

主要发现

• FPHBN 在 CRACK500 验证集上实现 AIU 0.560，高于 HED-FP(0.553) 和基线 HED(0.541)。
• 在 CRACK500 测试集上，FPHBN 获得 AIU 0.489，ODS 0.604 和 OIS 0.635，在这些指标上超过 HED、RCF 和 FCN 基线。
• 在消融研究中，给 HED 增加特征金字塔（HED-FP）使 AIU 提升至 0.553，进一步加入分层提升（FPHBN）后 AIU 提升至 0.560。
• 在 GAPs384 上，FPHBN 实现 AIU 0.081，ODS 0.220、OIS 0.231，相较于该数据集的 HED/RCF/FCN 基线表现更好。
• 在所有评估方法中，FPHBN 相较于边缘/分割基线，裂缝检测更清晰，伪阳性更少（可视结果和曲线）。
• FPHBN 在 CRACK500 推断时 GPU 每图像约 0.197 秒，展示了实际效率。