[论文解读] From Classification to Segmentation with Explainable AI: A Study on Crack Detection and Growth Monitoring

Florent Forest, Hugo Porta+2 more|arXiv (Cornell University)|Sep 20, 2023

Infrastructure Maintenance and MonitoringEngineering被引用 3

一句话总结

本文提出一种弱监督方法，通过可解释人工智能（XAI）从二值分类器的解释中生成像素级掩码，实现裂缝分割与生长监测，仅需图像级标注。结果表明，基于LRP的XAI方法实现了约0.4的F1分数，尽管分割质量低于全监督方法，但仍能有效实现裂缝严重程度监测。

ABSTRACT

Monitoring surface cracks in infrastructure is crucial for structural health monitoring. Automatic visual inspection offers an effective solution, especially in hard-to-reach areas. Machine learning approaches have proven their effectiveness but typically require large annotated datasets for supervised training. Once a crack is detected, monitoring its severity often demands precise segmentation of the damage. However, pixel-level annotation of images for segmentation is labor-intensive. To mitigate this cost, one can leverage explainable artificial intelligence (XAI) to derive segmentations from the explanations of a classifier, requiring only weak image-level supervision. This paper proposes applying this methodology to segment and monitor surface cracks. We evaluate the performance of various XAI methods and examine how this approach facilitates severity quantification and growth monitoring. Results reveal that while the resulting segmentation masks may exhibit lower quality than those produced by supervised methods, they remain meaningful and enable severity monitoring, thus reducing substantial labeling costs.

研究动机与目标

• 通过利用可解释人工智能的弱监督，解决裂缝分割中像素级标注的高成本问题。
• 仅使用图像级标签，实现表面裂缝的严重程度量化与长期生长监测。
• 评估多种XAI方法在从分类器解释中生成有意义分割掩码方面的性能。
• 提出对XAI方法的改进（例如，使用无损伤图像作为基线），以提升裂缝检测的解释质量。
• 评估基于XAI的掩码在实际结构健康监测任务中的可行性，包括裂缝面积与宽度估计。

提出的方法

• 使用图像级标签，训练二值分类器以区分无损伤与有裂缝的墙体图像。
• 应用多种XAI方法——如LRP、积分梯度、DeepLift、梯度SHAP和输入×梯度——从训练好的分类器生成显著性图。
• 在积分梯度和DeepLift中使用无损伤图像作为基线，以提升裂缝检测的解释保真度。
• 通过阈值化将显著性图转换为二值分割掩码，包括简单阈值化和高斯混合模型（GMM）后处理。
• 应用形态学操作以优化最终掩码并减少噪声。
• 利用生成的掩码计算裂缝严重程度指标，如裂缝面积、最大宽度和裂缝数量，以实现生长监测。

实验结果

研究问题

• RQ1 XAI生成的显著性图能否生成足够高质量的分割掩码，以支持裂缝严重程度量化与生长监测？
• RQ2 不同XAI方法在分割质量、计算效率以及监测裂缝演化能力方面如何比较？
• RQ3 方法论上的改进（如使用无损伤图像作为基线）对裂缝检测的XAI解释质量有何影响？
• RQ4 XAI-based分割在现实世界结构健康监测中，能在多大程度上替代或补充全监督分割？
• RQ5 尽管可能存在裂缝范围的高估，XAI生成的掩码能否有效追踪裂缝严重程度随时间的变化？

主要发现

• 逐层显著性传播（LRP）方法在分割质量、生长监测能力与计算效率之间达到了最佳平衡。
• XAI生成的掩码实现了约0.4的F1分数，虽低于U-Net等全监督方法，但显著优于自编码器等无监督方法。
• 基于XAI的分割计算时间与U-Net推理处于同一数量级，其中输入×梯度最快（0.251 s/图像），积分梯度最慢（因需50个插值步骤）。
• 与简单阈值化（0.018 s/图像）相比，使用GMM阈值化的后处理使运行时间增加一个数量级（0.372 s/图像），但显著提升了掩码质量。
• 尽管存在裂缝范围的高估，该方法仍能有效监测裂缝严重程度的时序演化，尤其在裂缝面积与数量等指标上表现良好。
• 在积分梯度与DeepLift中改进使用无损伤图像作为基线，显著提升了解释质量，尤其增强了对真实裂缝模式与背景噪声的区分能力。