[论文解读] Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation

Yukun Su, Ruizhou Sun+2 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 49被引用 9

一句话总结

本文提出了一种名为上下文解耦增强（CDA）的新颖数据增强方法，用于弱监督语义分割（WSSS），通过将物体实例随机粘贴到新背景中，打破物体与上下文之间的依赖关系。通过使用这些解耦样本进行训练，模型能够专注于内在物体特征，而非虚假的上下文线索，从而在PASCAL VOC 2012测试集上达到66.8%的mIoU，于COCO验证集上达到33.7%的mIoU，创下新的最先进性能记录。

ABSTRACT

Data augmentation is vital for deep learning neural networks. By providing massive training samples, it helps to improve the generalization ability of the model. Weakly supervised semantic segmentation (WSSS) is a challenging problem that has been deeply studied in recent years, conventional data augmentation approaches for WSSS usually employ geometrical transformations, random cropping and color jittering. However, merely increasing the same contextual semantic data does not bring much gain to the networks to distinguish the objects, e.g., the correct image-level classification of "aeroplane" may be not only due to the recognition of the object itself, but also its co-occurrence context like "sky", which will cause the model to focus less on the object features. To this end, we present a Context Decoupling Augmentation (CDA) method, to change the inherent context in which the objects appear and thus drive the network to remove the dependence between object instances and contextual information. To validate the effectiveness of the proposed method, extensive experiments on PASCAL VOC 2012 dataset with several alternative network architectures demonstrate that CDA can boost various popular WSSS methods to the new state-of-the-art by a large margin.

研究动机与目标

• 解决深度神经网络在弱监督语义分割中依赖虚假上下文线索（例如，'天空'作为'aeroplane'的线索）而非内在物体特征的问题。
• 减少模型对共现背景上下文的依赖，从而避免影响准确的物体定位。
• 开发一种数据增强策略，以提升特征学习能力，且无需额外标注或实例级标签。
• 仅使用图像级标签，在PASCAL VOC 2012和COCO基准上实现最先进性能。

提出的方法

• CDA采用两阶段训练流程，首先通过现成的WSSS模型预测物体实例。
• 将选定的前景实例随机粘贴到原始图像的不同背景场景中，以生成增强的训练样本。
• 该增强过程为在线操作，每次训练迭代中随机组合物体与背景，以最大化多样性。
• 模型在原始图像和增强图像上联合训练，迫使模型学习与上下文无关的判别性物体特征。
• 该方法兼容多种WSSS架构，且无需额外标注或模型微调。
• 采用成对训练策略，以提升分类器区分物体特异性特征的能力。

实验结果

研究问题

• RQ1 将物体实例从其原始上下文背景中解耦，是否能改善弱监督语义分割中的特征学习？
• RQ2 将物体实例随机重新粘贴到新场景中，是否能减少对虚假上下文线索的依赖？
• RQ3 一种上下文解耦的数据增强策略，是否能在不增加额外标注的前提下，提升多种WSSS基线模型的性能？
• RQ4 CDA在PASCAL VOC 2012和COCO等标准基准上的mIoU提升程度如何？

主要发现

• CDA在PASCAL VOC 2012测试集上达到66.8%的mIoU，创下新的最先进记录。
• 在COCO验证集上，CDA将性能提升至33.7%的mIoU，较之前最佳结果高出1.1%。
• 该方法在所有测试基线上均实现提升，平均mIoU提升超过2.8%，包括IRNet和SEAM模型。
• 定性结果表明，CDA生成的物体掩码更准确、更完整，边界分割更清晰。
• SEAM + CDA在PASCAL VOC 2012验证集和测试集上均取得最佳性能，超越先前最先进方法。
• 消融实验验证了CDA能有效降低模型对上下文线索的依赖，从而提升泛化能力。