[论文解读] An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation

Jihan Yang, Ruijia Xu+5 more|arXiv (Cornell University)|Dec 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用 7

一句话总结

该论文提出了一种基于扰动的语义分割领域自适应方法，通过在特征空间中生成并抵御逐点对抗性扰动，缓解了类别条件分布偏移问题。通过单独扰动每个特征图位置，并训练一个对这些扰动具有鲁棒性的领域不变分类器，该方法在GTA5→Cityscapes和SYNTHIA→Cityscapes基准上取得了最先进性能，尤其在长尾类别和小物体的分割上表现显著提升。

ABSTRACT

We focus on Unsupervised Domain Adaptation (UDA) for the task of semantic segmentation. Recently, adversarial alignment has been widely adopted to match the marginal distribution of feature representations across two domains globally. However, this strategy fails in adapting the representations of the tail classes or small objects for semantic segmentation since the alignment objective is dominated by head categories or large objects. In contrast to adversarial alignment, we propose to explicitly train a domain-invariant classifier by generating and defensing against pointwise feature space adversarial perturbations. Specifically, we firstly perturb the intermediate feature maps with several attack objectives (i.e., discriminator and classifier) on each individual position for both domains, and then the classifier is trained to be invariant to the perturbations. By perturbing each position individually, our model treats each location evenly regardless of the category or object size and thus circumvents the aforementioned issue. Moreover, the domain gap in feature space is reduced by extrapolating source and target perturbed features towards each other with attack on the domain discriminator. Our approach achieves the state-of-the-art performance on two challenging domain adaptation tasks for semantic segmentation: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes.

研究动机与目标

• 为解决领域自适应中对抗性对齐的局限性，即由于全局分布匹配导致头部类别或大物体占据主导地位的问题。
• 通过确保所有类别（尤其是长尾类别和小物体）的适应性均衡，减少语义分割中的类别条件分布偏移。
• 通过显式训练分类器对局部对抗性扰动保持不变，提升模型的鲁棒性和泛化能力。
• 在不依赖启发式重加权或对数据分布的隐式假设的前提下，实现更优的领域不变表示。

提出的方法

• 采用迭代快速梯度符号预处理方法（I-FGSPM）在中间特征图的每个空间位置生成对抗性扰动，以减少多种攻击目标之间的梯度差距。
• 扰动来源于领域判别器和分割分类器的梯度，使模型能够学习到鲁棒且领域不变的特征。
• 通过源域监督和目标域一致性约束，训练分类器在这些扰动下保持一致的预测结果，以强制实现不变性。
• 扰动应用于深层特征层（如ResNet-101的第4层之后），实证表明其性能优于输入层或浅层特征的扰动。
• 框架整合了Lovász-Softmax损失和熵最小化损失，进一步提升分割精度并减少类别偏差。
• 该方法在GTA5→Cityscapes和SYNTHIA→Cityscapes上进行了评估，并通过消融研究验证了各组件的有效性。

实验结果

研究问题

• RQ1 在像素级特征图位置应用对抗性扰动是否能提升语义分割中的领域泛化能力？
• RQ2 逐点扰动训练是否能缓解类别条件分布偏移，并提升长尾类别与小物体的分割性能？
• RQ3 攻击方法的选择与扰动层的位置如何影响模型的鲁棒性与适应性能？
• RQ4 当标准对抗性对齐方法被头部类别主导时，对抗性扰动训练能否超越其性能？
• RQ5 各组件（如扰动、熵损失、Lovász损失）对mIoU提升与类别偏差减少的贡献分别是什么？

主要发现

• 所提出的I-FGSPM攻击方法在SYNTHIA→Cityscapes上达到53.1 mIoU，优于I-FGSM（51.8）和MI-FGSPM（52.2），证明其在生成稳定、信息丰富的扰动方面具有显著有效性。
• 在深层特征层（如ResNet-101的第4层之后）进行特征扰动可获得最佳性能（53.1 mIoU），证实隐藏层扰动比输入层或浅层扰动更有效。
• 完整模型（包含扰动、Lovász损失、熵损失）在GTA5→Cityscapes上达到45.9 mIoU，在SYNTHIA→Cityscapes上达到53.1 mIoU，显著优于仅使用源域的基线模型（分别为36.6和38.6 mIoU）。
• 当与ASN预训练结合时，该方法在GTA5→Cityscapes和SYNTHIA→Cityscapes上分别实现+3.8%和+7.0%的mIoU增益，显示出与现有方法的强大协同效应。
• 消融研究证实，熵最小化损失和Lovász-Softmax损失可有效减少类别偏差，且当与两种损失结合时，扰动策略效果最佳。
• 与ASN相比，该方法显著提升了对长尾类别（如“标志”、“交通灯”）的分割性能，后者因全局对齐主导而容易在这些类别上崩溃。