[论文解读] Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation

Rui Gong, Yuhua Chen+6 more|arXiv (Cornell University)|Dec 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 3

一句话总结

该论文提出MOCDA，一种用于开放复合域自适应语义分割的元学习框架，通过风格聚类将目标图像划分为多个子域，构建特定于域的分支，利用超网络动态融合预测结果，并通过MAML实现在线模型更新。该方法在合成到真实世界的基准测试中达到最先进性能，在复合域上mIoU达31.4%，在开放域上达31.2%。

ABSTRACT

Open compound domain adaptation (OCDA) is a domain adaptation setting, where target domain is modeled as a compound of multiple unknown homogeneous domains, which brings the advantage of improved generalization to unseen domains. In this work, we propose a principled meta-learning based approach to OCDA for semantic segmentation, MOCDA, by modeling the unlabeled target domain continuously. Our approach consists of four key steps. First, we cluster target domain into multiple sub-target domains by image styles, extracted in an unsupervised manner. Then, different sub-target domains are split into independent branches, for which batch normalization parameters are learnt to treat them independently. A meta-learner is thereafter deployed to learn to fuse sub-target domain-specific predictions, conditioned upon the style code. Meanwhile, we learn to online update the model by model-agnostic meta-learning (MAML) algorithm, thus to further improve generalization. We validate the benefits of our approach by extensive experiments on synthetic-to-real knowledge transfer benchmark datasets, where we achieve the state-of-the-art performance in both compound and open domains.

研究动机与目标

• 解决在目标为未知且多样化子域混合的开放复合目标域中语义分割泛化能力不足的问题。
• 克服先前域自适应方法的局限性，即假设目标域为单一固定域，且无法泛化至未见域。
• 通过无监督风格聚类与特定于域的批量归一化，提出一种对复合目标域的连续建模方法。
• 通过元学习的模型更新机制实现在推理过程中的在线适应，提升对开放集未见域的泛化能力。
• 在语义分割的复合域与开放域自适应设置中均实现最先进性能。

提出的方法

• 利用主干网络提取的无监督图像风格特征，将未标注的目标域图像聚类为多个子目标域。
• 将网络按聚类结果拆分为独立分支，每个分支学习特定于域的批量归一化（BN）统计量，以建模子域特征。
• 使用超网络基于输入图像的风格码，动态融合来自不同子域分支的预测结果。
• 通过模型无关元学习（MAML）训练融合与更新模块，实现在推理阶段仅用一步梯度更新即可实现快速适应。
• 在训练过程中引入无监督熵损失，以提升融合模块的鲁棒性与泛化能力。
• 通过基于MAML的元优化机制，在推理阶段实现在线模型更新，使模型能以极少数据适应未见域。

实验结果

研究问题

• RQ1 元学习能否被有效用于在语义分割中将复合目标域建模为子域的连续流形？
• RQ2 与固定或非自适应融合策略相比，子域预测的动态、风格条件融合策略在性能上如何提升？
• RQ3 通过MAML实现的在线模型更新在多大程度上增强了对未见开放域的泛化能力？
• RQ4 无监督风格聚类能否有效将多样化的目标域图像分组为有意义且同质的子域，以提升适应性能？
• RQ5 聚类、拆分、融合与在线更新模块的组合是否能实现开放复合域自适应的最先进性能？

主要发现

• 在复合域（SYNTHIA-SF → BDD100K）上，MOCDA达到31.4%的mIoU，较之前最先进方法AdaptSegNet提升2.3%。
• 在开放域（KITTI、WildDash、Cityscapes）上，MOCDA达到31.2%的mIoU，较无在线更新的模型提升1.1%。
• 基于超网络的自适应融合策略取得27.7%的mIoU，较非自适应基线模型（23.1–26.6%）最高提升4.6%。
• 在融合模块中引入无监督熵损失后，性能从27.1%提升至27.3%，证明其对鲁棒性的增益。
• 在线更新机制在Cityscapes上贡献+2.3% mIoU，在WildDash上贡献+1.3% mIoU，证实其在开放集泛化中的有效性。
• 定性结果表明，MOCDA在不同天气条件和未见域中均能生成更准确且一致的分割掩码。