[论文解读] U-Net for MAV-based Penstock Inspection: an Investigation of Focal Loss in Multi-class Segmentation for Corrosion Identification

Ty Nguyen, Tolga Özaslan+8 more|arXiv (Cornell University)|Sep 18, 2018

Infrastructure Maintenance and Monitoring参考文献 20被引用 7

一句话总结

本文提出了一种轻量级U-Net模型，仅使用少于40张标注图像进行训练，以实现实时、自动化的隧洞内衬检测，利用微型飞行器（MAV）采集的影像进行腐蚀检测。该方法结合了焦点损失与优化的类别权重，在中心大坝的低光照和噪声环境下，实现了单张GPU上12 fps的推理速度，并在分割腐蚀区域方面优于标准交叉熵损失。

ABSTRACT

Periodical inspection and maintenance of critical infrastructure such as dams, penstocks, and locks are of significant importance to prevent catastrophic failures. Conventional manual inspection methods require inspectors to climb along a penstock to spot corrosion, rust and crack formation which is unsafe, labor-intensive, and requires intensive training. This work presents an alternative approach using a Micro Aerial Vehicle (MAV) that autonomously flies to collect imagery which is then fed into a pretrained deep-learning model to identify corrosion. Our simplified U-Net trained with less than 40 image samples can do inference at 12 fps on a single GPU. We analyze different loss functions to solve the class imbalance problem, followed by a discussion on choosing proper metrics and weights for object classes. Results obtained with the dataset collected from Center Hill Dam, TN show that focal loss function, combined with a proper set of class weights yield better segmentation results than the base loss, Softmax cross entropy. Our method can be used in combination with planning algorithm to offer a complete, safe and cost-efficient solution to autonomous infrastructure inspection.

研究动机与目标

• 开发一种数据高效的深度学习方法，用于隧洞内衬基础设施的自动化腐蚀检测。
• 通过损失函数解决隧洞表面缺陷多类别分割中的类别不平衡问题。
• 评估焦点损失与类别权重在低光照和噪声条件下提升分割准确性的有效性。
• 实现在高分辨率图像上单GPU实时推理（12 fps），以支持现场部署。
• 为危险环境中的手动检测提供一种可扩展、安全且经济高效的替代方案。

提出的方法

• 在中心大坝MAV采集的影像中，使用少于40张人工标注图像对U-Net架构进行训练。
• 该模型对像素进行五种类别的分类：涂层、水、铆钉、潮湿和腐蚀表面。
• 将焦点损失从二分类推广至多类别分割，以缓解类别不平衡问题。
• 在焦点损失函数中应用类别权重，以进一步提升对稀有类别（如腐蚀）的性能。
• 使用交叉熵与焦点损失相结合的方式进行网络训练，超参数γ = 2.0。
• 在单张GPU上使用原始1024×1280分辨率图像，以12 fps的速度执行推理。

实验结果

研究问题

• RQ1 轻量级U-Net模型能否在极小标注训练数据下实现对隧洞表面缺陷的准确多类别分割？
• RQ2 在低光照、噪声环境下，焦点损失与标准交叉熵损失相比，在处理腐蚀检测类别不平衡问题时表现如何？
• RQ3 在使用焦点损失进行隧洞缺陷多类别分割时，类别权重的最佳配置是什么？
• RQ4 不同评估指标（如DSC、敏感性、特异性）如何反映不平衡数据集中分割模型的性能？
• RQ5 所提方法能否实现实时、设备端推理，适用于自主MAV基检测？

主要发现

• 当γ = 2.0时，加权焦点损失取得了最佳整体性能，优于仅使用标准交叉熵损失或仅使用焦点损失的模型，分割质量更优。
• 当腐蚀类别的类别权重w_c = 4时，总误差最小化至1.9%，表明敏感性与特异性之间达到最佳平衡。
• 当使用w_c = 1的加权焦点损失时，DSC（Dice相似系数）达到最高值52.1%，表明分割重叠度提升。
• 当w_c = 8时，敏感性提高至83.4%，但特异性下降至95.2%，证实了检测真正阳性与减少假阳性之间的权衡。
• 在定性结果中，加权焦点损失模型在腐蚀区域、潮湿区域和铆钉的分割上更加清晰且完整，优于其他损失函数。
• 该模型在单张GPU上实现了12 fps的实时推理，支持现场处理高分辨率MAV影像。