[论文解读] Dual Attention U-Net with Feature Infusion: Pushing the Boundaries of Multiclass Defect Segmentation

Rasha Alshawi, Md Tamjidul Hoque+8 more|arXiv (Cornell University)|Dec 21, 2023

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

该论文提出DAU-FI Net，一种结合特征融合的双注意力U-Net，可提升数据稀缺场景下的多类别缺陷分割性能。通过集成多尺度深度可分离卷积、空间-通道挤压-激励注意力、注意力门，以及基于语义掩码引导的Gabor/Sobel/Canny滤波器特征注入，该模型在污水管缺陷数据集上达到95.6%的SOTA平均IoU，在基准数据集上达到98.8%，分别超越先前方法8.9%和12.6%，且参数量仅146万。

ABSTRACT

The proposed architecture, Dual Attentive U-Net with Feature Infusion (DAU-FI Net), addresses challenges in semantic segmentation, particularly on multiclass imbalanced datasets with limited samples. DAU-FI Net integrates multiscale spatial-channel attention mechanisms and feature injection to enhance precision in object localization. The core employs a multiscale depth-separable convolution block, capturing localized patterns across scales. This block is complemented by a spatial-channel squeeze and excitation (scSE) attention unit, modeling inter-dependencies between channels and spatial regions in feature maps. Additionally, additive attention gates refine segmentation by connecting encoder-decoder pathways. To augment the model, engineered features using Gabor filters for textural analysis, Sobel and Canny filters for edge detection are injected guided by semantic masks to expand the feature space strategically. Comprehensive experiments on a challenging sewer pipe and culvert defect dataset and a benchmark dataset validate DAU-FI Net's capabilities. Ablation studies highlight incremental benefits from attention blocks and feature injection. DAU-FI Net achieves state-of-the-art mean Intersection over Union (IoU) of 95.6% and 98.8% on the defect test set and benchmark respectively, surpassing prior methods by 8.9% and 12.6%, respectively. Ablation studies highlight incremental benefits from attention blocks and feature injection. The proposed architecture provides a robust solution, advancing semantic segmentation for multiclass problems with limited training data. Our sewer-culvert defects dataset, featuring pixel-level annotations, opens avenues for further research in this crucial domain. Overall, this work delivers key innovations in architecture, attention, and feature engineering to elevate semantic segmentation efficacy.

研究动机与目标

• 解决真实世界基础设施检测中常见于小样本、类别不平衡数据集的多类别语义分割挑战。
• 在数据稀缺条件下，尤其针对罕见缺陷类别，提升缺陷定位与分割的精度。
• 通过语义掩码引导的特征注入，将领域特定的工程化特征（Gabor、Sobel、Canny）与深度学习融合，增强特征表示能力。
• 通过注意力机制与架构创新，优化模型效率与性能，在最小化参数量的同时最大化准确率。
• 建立新基准：发布一个全新的、像素级标注的污水管缺陷数据集，以推动未来自动化基础设施检测研究。

提出的方法

• 提出双注意力U-Net与特征融合网络（DAU-FI Net），结合编码器-解码器U-Net架构与多尺度深度可分离卷积，实现层次化特征学习。
• 引入并行的空间-通道挤压-激励（scSE）注意力单元，建模特征图中通道与空间区域之间的相互依赖关系，提升表征质量。
• 在编码器与解码器路径之间的跳跃连接上使用加性注意力门，优化特征融合过程，提升定位精度。
• 将Gabor、Sobel与Canny滤波器提取的工程化特征，基于预测的语义掩码注入网络，丰富特征空间，同时不增加模型复杂度。
• 采用多尺度深度可分离卷积模块，结合3×3、5×5与1×1卷积核，高效捕捉多尺度局部模式。
• 采用混合训练策略，同时利用原始图像数据与工程化特征图，通过注意力掩码动态引导特征注入，以保持空间与语义保真度。

Figure 1: The Proposed Dual Attentive U-Net with Feature Infusion (DAU-FI Net) Architecture

实验结果

研究问题

• RQ1 能否通过同时建模空间与通道依赖关系的双注意力机制，提升在多类别、类别不平衡数据集上的分割精度？
• RQ2 在低数据环境下，基于语义掩码引导的工程化特征（Gabor、Sobel、Canny）注入，能在多大程度上提升深度学习性能？
• RQ3 在U-Net架构中，注意力门在跳跃连接中的集成如何影响特征融合与定位精度？
• RQ4 结合注意力模块、特征注入与深度可分离卷积的最优架构配置是什么，以实现多类别缺陷分割的最优性能？
• RQ5 仅含146万参数的轻量化模型，能否在复杂真实世界缺陷分割任务中实现SOTA性能？

主要发现

• DAU-FI Net在自建污水管缺陷数据集上实现95.6%的SOTA平均交并比（IoU），较先前方法提升8.9个百分点。
• 在基准细胞核数据集上，DAU-FI Net实现98.8%的平均IoU，超越此前SOTA 12.6个百分点。
• 消融实验表明，双注意力、特征注入与注意力门各组件均对性能提升有累积贡献，完整模型（配置P6）表现最佳。
• 模型仅用146万参数即实现高精度，表明其具有出色的参数效率，适用于实时或边缘设备部署。
• 可视化对比显示，DAU-FI Net能检测到未在真实标注中出现的缺陷，表明其具备强大泛化能力，学习已超越标注边界。
• 已公开发布经精心整理的、带有像素级标注的污水管缺陷数据集，为未来自动化基础设施检测的基准测试与研究提供支持。

Figure 2: Feature Extraction Methods and Filters.