[论文解读] Cross-View Regularization for Domain Adaptive Panoptic Segmentation

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用 12

一句话总结

本文提出了一种新型的域自适应全景分割框架——跨视角正则化网络（CVRN），通过实例分割与语义分割之间的任务间正则化（ITR）以及通过在线图像风格迁移实现的风格间正则化（ISR），提升域间特征对齐效果。该方法在合成到真实及真实到真实的域自适应基准上均取得最先进性能，mPQ指标提升超过3.3分，适用于多种无监督域自适应（UDA）方法。

ABSTRACT

Panoptic segmentation unifies semantic segmentation and instance segmentation which has been attracting increasing attention in recent years. However, most existing research was conducted under a supervised learning setup whereas unsupervised domain adaptive panoptic segmentation which is critical in different tasks and applications is largely neglected. We design a domain adaptive panoptic segmentation network that exploits inter-style consistency and inter-task regularization for optimal domain adaptive panoptic segmentation. The inter-style consistency leverages geometric invariance across the same image of the different styles which fabricates certain self-supervisions to guide the network to learn domain-invariant features. The inter-task regularization exploits the complementary nature of instance segmentation and semantic segmentation and uses it as a constraint for better feature alignment across domains. Extensive experiments over multiple domain adaptive panoptic segmentation tasks (e.g., synthetic-to-real and real-to-real) show that our proposed network achieves superior segmentation performance as compared with the state-of-the-art.

研究动机与目标

• 解决全景分割中缺乏无监督域自适应的问题，全景分割结合了语义分割与实例分割。
• 通过利用两者之间的互补性，克服分别训练语义分割与实例分割所导致的次优性能。
• 在不依赖目标域标注的情况下，缓解源域（如合成数据）与目标域（如真实图像）之间的域偏移问题。
• 设计一种基于同一图像不同风格化视图之间几何一致性的自监督正则化机制。
• 实现对多样化域迁移任务（包括合成到真实、真实到真实）的有效适应。

提出的方法

• 提出一种任务间正则化器（ITR），通过利用语义分割与实例分割的互补优势，共同正则化其伪标签——例如，语义分割指导‘stuff’区域预测，而实例分割提升‘things’区域的预测性能。
• 设计一种风格间正则化器（ISR），将同一图像的多个风格化版本视为不同视图，通过强制几何一致性来学习域不变特征。
• 利用在线图像风格迁移技术，生成单张输入图像的多样化风格变体，从而实现多视图自训练监督。
• 在未配对的目标域图像上训练全景分割模型，使用经ITR与ISR优化的伪标签，并结合一致性正则化的自训练策略。
• 将跨视角正则化模块整合进统一框架，在训练过程中联合优化任务间与风格间的一致性。
• 将该方法应用于多种域自适应任务，包括SYNTHIA→Cityscapes，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 通过利用实例分割与语义分割之间的互补性，任务间正则化是否能提升域自适应全景分割性能？
• RQ2 在相同图像的多个风格化视图之间强制几何一致性，是否能增强特征对齐与域泛化能力？
• RQ3 所提出的跨视角正则化框架能否与现有无监督域自适应方法有效结合，进一步提升性能？
• RQ4 该方法在不同全景分割架构与域偏移场景下是否具备足够鲁棒性？
• RQ5 在合成到真实与真实到真实的域自适应基准上，该方法相较于最先进方法的性能优势有多大？

主要发现

• CVRN在SYNTHIA→Cityscapes域自适应基准上达到最先进性能，各项指标均优于现有方法。
• 当与三种不同UDA基线（FDA、AdvEnt、CRST）结合时，mPQ指标提升超过3.3分。
• 在PFPN架构上，CVRN实现31.4的mPQ，较基线MTST提升4.6分，较Source-only提升9.9分。
• 在UPSNet架构上，CVRN实现34.0的mPQ，较MTST提升6.5分，较Source-only提升10.7分。
• 消融实验表明，ITR与ISR均对性能有显著贡献，其中ITR在‘things’区域提升更明显，ISR在‘stuff’区域贡献更大。
• 该方法与现有UDA技术高度互补，在不同适配策略（包括对抗学习、图像翻译与自训练）下均能持续提升性能。