[论文解读] Generalizable Semantic Segmentation via Model-agnostic Learning and Target-specific Normalization

Jian Zhang, Qi Lei+2 more|arXiv (Cornell University)|Mar 27, 2020

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

该论文提出了一种用于语义分割的领域泛化框架，结合了模型无关学习与目标特定归一化，以提升模型在未见领域上的泛化能力。通过在训练过程中模拟领域差异，并将归一化统计量适配至目标领域，该方法在Cityscapes和Mapillary基准上取得了最先进性能。

ABSTRACT

Semantic segmentation methods in the supervised scenario have achieved significant improvement in recent years. However, when directly deploying the trained model to segment the images of unseen (or new coming) domains, its performance usually drops dramatically due to the data-distribution discrepancy between seen and unseen domains. To overcome this limitation, we propose a novel domain generalization framework for the generalizable semantic segmentation task, which enhances the generalization ability of the model from two different views, including the training paradigm and the data-distribution discrepancy. Concretely, we exploit the model-agnostic learning method to simulate the domain shift problem, which deals with the domain generalization from the training scheme perspective. Besides, considering the data-distribution discrepancy between source domains and unseen target domains, we develop the target-specific normalization scheme to further boost the generalization ability in unseen target domains. Extensive experiments highlight that the proposed method produces state-of-the-art performance for the domain generalization of semantic segmentation on multiple benchmark segmentation datasets (i.e., Cityscapes, Mapillary). Furthermore, we gain an interesting observation that the target-specific normalization can benefit from the model-agnostic learning scheme.

研究动机与目标

• 解决模型在未见领域部署时因领域偏移导致的语义分割性能下降问题。
• 通过在训练过程中使用模型无关学习方法模拟领域偏移，提升模型泛化能力。
• 通过目标特定归一化方案减少源域与未见目标域之间的数据分布差异。
• 在训练过程中无需目标域标签，提升模型在域外测试集上的泛化性能。

提出的方法

• 通过优化元学习目标，使模型在多种不同领域分布中保持鲁棒性，从而在训练过程中模拟领域偏移。
• 引入一种目标特定归一化层，在推理阶段根据目标域的统计量自适应调整批量归一化统计量。
• 使用元优化方案训练分割主干网络，以最小化在多个源域上的期望误差。
• 通过学习领域不变特征，促使模型关注语义内容而非领域特异性特征。
• 采用两阶段训练流程：首先在源域上预训练模型；其次使用目标特定归一化层进行微调。
• 利用目标域的特征级统计量校准归一化参数，提升对未见领域的适应能力。

实验结果

研究问题

• RQ1 模型无关学习是否能有效模拟领域偏移，并提升语义分割的泛化能力？
• RQ2 目标特定归一化是否能显著提升在未见目标领域的性能？
• RQ3 模型无关学习与目标特定归一化的结合相较于单一组件，对泛化性能有何影响？
• RQ4 所提方法是否能在标准语义分割领域泛化基准上实现最先进性能？

主要发现

• 所提方法在Cityscapes和Mapillary领域泛化语义分割基准上实现了最先进性能。
• 模型无关学习与目标特定归一化的结合在未见领域上显著优于基线方法。
• 当与模型无关学习结合时，目标特定归一化展现出显著性能提升，表明二者具有互补优势。
• 该方法在训练过程中未见过的领域上泛化良好，表现出对领域偏移的强鲁棒性。