[论文解读] Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

Zhonghao Wang, Mo Yu+6 more|arXiv (Cornell University)|Mar 18, 2020

Domain Adaptation and Few-Shot Learning被引用 19

一句话总结

该论文提出了一种用于语义分割的新型无监督域自适应方法，通过分别对'stuff'（如天空、道路）和'things'（如汽车、行人）进行差异化处理，实现全局特征向量对齐'stuff'区域和实例级匹配对'things'。通过最小化与最相似源特征的距离并稳定GAN训练，该方法在GTA5→Cityscapes（50.1）和SYNTHIA→Cityscapes（52.1）基准上取得了新的SOTA mIoU分数。

ABSTRACT

We consider the problem of unsupervised domain adaptation for semantic segmentation by easing the domain shift between the source domain (synthetic data) and the target domain (real data) in this work. State-of-the-art approaches prove that performing semantic-level alignment is helpful in tackling the domain shift issue. Based on the observation that stuff categories usually share similar appearances across images of different domains while things (i.e. object instances) have much larger differences, we propose to improve the semantic-level alignment with different strategies for stuff regions and for things: 1) for the stuff categories, we generate feature representation for each class and conduct the alignment operation from the target domain to the source domain; 2) for the thing categories, we generate feature representation for each individual instance and encourage the instance in the target domain to align with the most similar one in the source domain. In this way, the individual differences within thing categories will also be considered to alleviate over-alignment. In addition to our proposed method, we further reveal the reason why the current adversarial loss is often unstable in minimizing the distribution discrepancy and show that our method can help ease this issue by minimizing the most similar stuff and instance features between the source and the target domains. We conduct extensive experiments in two unsupervised domain adaptation tasks, i.e. GTA5 to Cityscapes and SYNTHIA to Cityscapes, and achieve the new state-of-the-art segmentation accuracy.

研究动机与目标

• 解决无监督域自适应中语义分割的域偏移问题，其中将合成源数据（如GTA5、SYNTHIA）适应到真实世界的目标数据（如Cityscapes）。
• 克服全局对抗损失的局限性，后者对所有特征一视同仁，导致训练过程不稳定且性能随训练迭代下降。
• 认识到'stuff'类别（如道路、天空）在不同域间外观方差较低，而'things'（如汽车、行人）则表现出较高的实例级多样性，因此需要不同的适应策略。
• 通过将目标域的'stuff'区域与全局源域类别特征对齐，以及将目标域实例与最相似的源域实例匹配，提升特征对齐效果。
• 通过显式最小化最相似源特征与目标特征之间的距离，稳定基于GAN的自适应训练，减少过对齐现象并提升收敛性。

提出的方法

• 引入一种'Stuff and Instance Matching'（SIM）模块，对'stuff'和'things'采取差异化处理：对'stuff'使用全局类别级特征向量进行对齐；对'things'则将每个目标实例与最相似的源实例进行匹配。
• 应用L1损失以最小化最相似源特征与目标特征之间的距离，从而在准确性和稳定性上优于全局分布匹配的自适应方法。
• 使用内存库存储固定数量（w=50）的近期源域特征样本，以在训练期间实现高效且实时的匹配。
• 将SIM模块集成到输出空间对抗自适应框架中，结合对抗损失与分割损失，联合优化特征对齐与分割精度。
• 通过生成目标域的高置信度伪标签实施自监督学习，并重新训练模型，进一步提升性能。

实验结果

研究问题

• RQ1 如何通过考虑'stuff'与'things'之间外观方差的差异，改进无监督域自适应中的语义分割？
• RQ2 为何标准的基于GAN的对抗训练在语义分割的域自适应中难以长期稳定？
• RQ3 与全局分布匹配相比，显式最小化最近邻源-目标特征距离是否能提升对齐精度并减少过对齐？
• RQ4 对'stuff'与'things'采取差异化处理是否能在GTA5→Cityscapes和SYNTHIA→Cityscapes等标准基准上带来更好的性能？
• RQ5 当与所提出的SIM模块结合时，自监督伪标签是否能进一步提升模型性能？

主要发现

• 所提出的SIM方法在GTA5→Cityscapes基准上实现了新的SOTA mIoU（50.1），优于先前方法。
• 在SYNTHIA→Cityscapes基准上，该方法实现了新的SOTA mIoU（52.1），相较于仅在源域训练的基线模型（38.6）有显著提升。
• 消融实验表明，加入SIM模块后，mIoU从仅使用对抗训练的46.0提升至47.1，证明了其有效性。
• 最优超参数设置为λ_ci = 0.01且w = 50，其中w为存储的源特征样本数量，该设置在特征多样性与模型时效性之间达到平衡。
• 结合高置信度伪标签的自监督学习进一步提升了性能，使SYNTHIA→Cityscapes上的mIoU从47.1提升至52.1，证实了该方法的可扩展性与鲁棒性。