[论文解读] A Network Structure to Explicitly Reduce Confusion Errors in Semantic Segmentation

Qichuan Geng, Xinyu Huang+2 more|arXiv (Cornell University)|Aug 1, 2018

Anomaly Detection Techniques and Applications参考文献 33被引用 5

一句话总结

该论文提出了一种新颖且可泛化的深度学习架构，通过集成在区分性易混淆类别组上训练的子网络，并引入一种改进的交叉熵损失函数，显式减少语义分割中的混淆错误。该方法在不修改主干网络或后处理流程的前提下，在Cityscapes和PASCAL VOC数据集上实现了稳定且显著的mIoU提升——相较于ResNet-101最高提升3.05%，相较于ResNet-38最高提升1.30%。

ABSTRACT

Confusing classes that are ubiquitous in real world often degrade performance for many vision related applications like object detection, classification, and segmentation. The confusion errors are not only caused by similar visual patterns but also amplified by various factors during the training of our designed models, such as reduced feature resolution in the encoding process or imbalanced data distributions. A large amount of deep learning based network structures has been proposed in recent years to deal with these individual factors and improve network performance. However, to our knowledge, no existing work in semantic image segmentation is designed to tackle confusion errors explicitly. In this paper, we present a novel and general network structure that reduces confusion errors in more direct manner and apply the network for semantic segmentation. There are two major contributions in our network structure: 1) We ensemble subnets with heterogeneous output spaces based on the discriminative confusing groups. The training for each subnet can distinguish confusing classes within the group without affecting unrelated classes outside the group. 2) We propose an improved cross-entropy loss function that maximizes the probability assigned to the correct class and penalizes the probabilities assigned to the confusing classes at the same time. Our network structure is a general structure and can be easily adapted to any other networks to further reduce confusion errors. Without any changes in the feature encoder and post-processing steps, our experiments demonstrate consistent and significant improvements on different baseline models on Cityscapes and PASCAL VOC datasets (e.g., 3.05% over ResNet-101 and 1.30% over ResNet-38).

研究动机与目标

• 解决由相似视觉模式以及训练过程中引起的因素（如特征分辨率降低和类别不平衡）导致的语义分割混淆错误。
• 显式减少语义上相似类别之间的混淆（例如道路与人行道、建筑物与围栏），而非将其视为偶然的副作用。
• 开发一种通用框架，可无缝集成到任意现有分割网络中，无需更改其主干网络或后处理流程。
• 通过一种新型损失函数，直接惩罚易混淆类别的误分类，从而提升模型的鲁棒性和准确性。

提出的方法

• 该方法基于预训练模型的归一化混淆矩阵识别出具有区分性的易混淆类别组，构建子网络。
• 每个子网络在保持对无关类别性能的同时，被训练以最大化其组内易混淆类别之间的分离度。
• 引入一种改进的交叉熵损失函数，对易混淆类别上的错误预测增加惩罚项，惩罚权重基于混淆矩阵的数值进行调整。
• 损失函数被设计为同时最小化易混淆类别对的假阳性和假阴性，从而增强判别能力。
• 最终预测通过主干网络与所有子网络输出的集成平均获得，实现更好的泛化性能。
• 该方法被应用于Cityscapes和PASCAL VOC数据集上的ResNet-101和ResNet-38主干网络，未对特征编码器或解码头进行任何修改。

实验结果

研究问题

• RQ1 能否设计一种通用网络结构，显式减少语义分割中的混淆错误，而不仅限于解决类别不平衡或分辨率损失等单一因素？
• RQ2 使用具有异质输出空间的子网络，在提升易混淆类别对之间判别能力方面有多有效？
• RQ3 一种同时惩罚易混淆类别假阳性和假阴性的改进交叉熵损失函数，在多大程度上提升了分割精度？
• RQ4 该方法是否可普遍应用于现有网络而无需架构修改？其在不同数据集上是否均能实现一致的性能增益？

主要发现

• 所提方法在Cityscapes验证集上相较基线ResNet-101实现了3.05%的mIoU提升。
• 在PASCAL VOC 2012数据集上，该方法相较ResNet-38基线模型mIoU提升了1.30%，达到79.38%。
• 子网络与改进损失函数的结合带来了最高性能增益，且仅损失函数本身即贡献了显著的性能提升。
• 该方法在不同主干网络架构和数据集上均表现出一致的性能提升，显示出强大的泛化能力。
• 可视化结果表明，'卡车'与'公共汽车'、'围栏'与'建筑物'、'骑手'与'人'等类别之间的混淆显著减少。
• 混淆矩阵分析证实，该方法有效减少了已知易混淆类别组之间的误分类。