[论文解读] Learning Debiased and Disentangled Representations for Semantic Segmentation

Sang-Hyeok Chu, Dongwan Kim+1 more|arXiv (Cornell University)|Oct 31, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 DropClass，一种适用于语义分割的模型无关训练方案，通过在训练过程中使用 Grad-CAM 随机抑制特定类别特征，减少特征纠缠和数据集偏差。该方法在不增加额外数据或标注的情况下，显著提升了多个基准数据集和网络架构上的性能，尤其在低频类别上表现更优。

ABSTRACT

Deep neural networks are susceptible to learn biased models with entangled feature representations, which may lead to subpar performances on various downstream tasks. This is particularly true for under-represented classes, where a lack of diversity in the data exacerbates the tendency. This limitation has been addressed mostly in classification tasks, but there is little study on additional challenges that may appear in more complex dense prediction problems including semantic segmentation. To this end, we propose a model-agnostic and stochastic training scheme for semantic segmentation, which facilitates the learning of debiased and disentangled representations. For each class, we first extract class-specific information from the highly entangled feature map. Then, information related to a randomly sampled class is suppressed by a feature selection process in the feature space. By randomly eliminating certain class information in each training iteration, we effectively reduce feature dependencies among classes, and the model is able to learn more debiased and disentangled feature representations. Models trained with our approach demonstrate strong results on multiple semantic segmentation benchmarks, with especially notable performance gains on under-represented classes.

研究动机与目标

• 解决语义分割中数据集偏差和特征纠缠的问题，这些问题相较于分类任务仍研究不足。
• 开发一种训练方案，以减少由共现物体模式和类别不平衡引起的类别间依赖。
• 实现与模型无关的集成，无需修改现有架构，且无需额外数据或标注。
• 通过促进解纠缠、去偏见的特征学习，提升低频类别的性能。
• 在多种架构和基准数据集上验证该方法的有效性。

提出的方法

• 对于每张输入图像，使用 Grad-CAM 提取特定类别的特征图，以识别每个类别的判别区域。
• 在每次训练迭代中，随机选择一个类别的特征图在特征空间中被抑制，以减少类别间的依赖性。
• 将剩余的特征图聚合以生成模型预测，模拟一种针对类别表征的随机丢弃形式。
• 引入抑制损失，以鼓励模型减少对任一类别特征的依赖，从而促进特征解纠缠。
• 该训练方案与模型无关，可兼容任意分割架构，无需架构修改。
• 该方法结合标准交叉熵损失与一种新型抑制损失，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 随机抑制特定类别特征在语义分割中对特征解纠缠和偏差减少有何影响？
• RQ2 一种与模型无关的训练方案是否能在不增加额外数据的情况下有效提升低频类别的性能？
• RQ3 所提出的抑制损失与标准交叉熵损失相比，在减少类别间特征纠缠方面表现如何？
• RQ4 DropClass 在不同架构和数据集上能多大程度上提升泛化能力？
• RQ5 对随机采样的类别抑制其特征，是否能生成在密集预测任务中更鲁棒、更少偏见的表征？

主要发现

• DropClass 在低频类别上实现显著性能提升，Cityscapes 上 mIoU 最高提升 2.1%，PASCAL-Context 上提升 1.8%。
• 与基线相比，DropClass 在 Cityscapes 上提升 0.7%p 的 mIoU，在 PASCAL-Context 上提升 0.5%p。
• 消融实验表明，抑制损失至关重要，若移除该损失，性能将下降。
• 经可视化和 Grad-CAM 图分析验证，使用 DropClass 训练的模型表现出更低的特征纠缠程度。
• 该方法在多种架构（如 DeepLabV3 和 HRNet）上均有效，展现出广泛的兼容性。
• 即使在未使用抑制损失的情况下应用随机类别丢弃，DropClass 仍优于标准训练，凸显了所提损失组件的必要性。