[论文解读] Contrastive Model Adaptation for Cross-Condition Robustness in Semantic Segmentation

David Brüggemann, Christos Sakaridis+2 more|arXiv (Cornell University)|Jan 1, 2023

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出对比模型微调（CMA），一种新颖的跨条件语义分割方法，通过利用成对的正常-异常条件图像，借助对比学习学习条件不变特征。通过将参考（正常）图像特征映射到异常条件图像的空间视角，并使用对比损失将语义对应特征聚类，CMA在模型微调设置中实现了最先进性能，即使在无法访问源训练数据的情况下，仍优于标准无监督域适应方法。

ABSTRACT

Standard unsupervised domain adaptation methods adapt models from a source to a target domain using labeled source data and unlabeled target data jointly. In model adaptation, on the other hand, access to the labeled source data is prohibited, i.e., only the source-trained model and unlabeled target data are available. We investigate normal-to-adverse condition model adaptation for semantic segmentation, whereby image-level correspondences are available in the target domain. The target set consists of unlabeled pairs of adverse- and normal-condition street images taken at GPS-matched locations. Our method -- CMA -- leverages such image pairs to learn condition-invariant features via contrastive learning. In particular, CMA encourages features in the embedding space to be grouped according to their condition-invariant semantic content and not according to the condition under which respective inputs are captured. To obtain accurate cross-domain semantic correspondences, we warp the normal image to the viewpoint of the adverse image and leverage warp-confidence scores to create robust, aggregated features. With this approach, we achieve state-of-the-art semantic segmentation performance for model adaptation on several normal-to-adverse adaptation benchmarks, such as ACDC and Dark Zurich. We also evaluate CMA on a newly procured adverse-condition generalization benchmark and report favorable results compared to standard unsupervised domain adaptation methods, despite the comparative handicap of CMA due to source data inaccessibility. Code is available at https://github.com/brdav/cma.

研究动机与目标

• 解决在雾、雨、雪等恶劣视觉条件下语义分割的鲁棒性挑战。
• 开发一种无需访问标注源数据的模型微调方法，这在因隐私或专有约束而常见的实际部署中尤为关键。
• 利用图像级对应关系（在GPS匹配位置采集的成对正常与异常条件图像）以提升跨条件泛化能力。
• 通过对比学习学习条件不变特征，最小化由天气条件引起的数据分布偏移。
• 在ACDC和Dark Zurich等基准上，实现语义分割模型微调的最先进性能。

提出的方法

• CMA采用对比学习框架，其中异常条件图像的特征作为锚点，对应对齐的正常条件图像的特征作为正样本。
• 通过预测的形变场将正常条件图像的特征图形变到异常条件图像的空间视角，实现对应特征的空间对齐。
• 采用置信度调制的特征聚合策略，结合形变后的特征，提升对错位和不确定性问题的鲁棒性。
• 对比损失将正样本对（异常与对应正常特征）在嵌入空间中拉近，同时将其与来自同一图像或不同图像的其他负样本特征推远。
• 采用特征的指数移动平均（EMA）以稳定训练并减少模式崩溃。
• 该方法仅使用预训练源模型和无标签目标图像（含配对参考图像）进行端到端训练。

实验结果

研究问题

• RQ1 在无源数据访问的源域自适应设置下，能否有效利用正常与异常条件图像之间的图像级对应关系，以提升跨条件语义分割性能？
• RQ2 使用对齐的正常条件特征作为正样本进行对比学习，是否能比标准域适应或简单微调方法获得更具条件不变性的表征？
• RQ3 形变置信度与特征聚合的引入，如何提升对错位和域偏移的鲁棒性？
• RQ4 当缺乏源训练数据访问时，该模型微调方法能否超越标准无监督域适应（UDA）方法？
• RQ5 所提方法在未见异常条件下的泛化能力如何？在新提出的基准上评估结果如何？

主要发现

• 在ACDC验证集上，CMA实现了67.2的mIoU，创下正常到异常语义分割模型微调的新SOTA记录。
• 在Dark Zurich基准上，CMA优于现有模型微调方法，甚至超越部分标准UDA方法，证明其在无源数据情况下的有效性。
• 消融实验表明，若移除对比损失，mIoU降至60.1，证实对比目标对性能提升至关重要。
• t-SNE可视化显示，采用CDC损失的CMA能成功将不同条件下的特征（如天空与路面）聚类在一起，而无CDC损失的版本则呈现散乱、未聚类的特征分布。
• 超参数敏感性分析表明，性能对嵌入网格大小和InfoNCE温度的变化具有鲁棒性，表明优化过程稳定。
• 在新提出的异常条件泛化（ACG）基准上，CMA相较于标准UDA方法表现更优，验证了其在数据访问受限情况下的泛化能力。