[论文解读] A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes

Yang Zhang, Philip David+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Neural Network Applications参考文献 104被引用 8

一句话总结

该论文提出了一种课程域自适应方法，用于城市场景的语义分割，通过利用真实图像中的易学全局和局部标签分布来指导并正则化合成数据上的训练。该方法在GTA2Cityscapes和Cityscapes数据集上优于多个基线模型，实现了最先进性能，相较于先前方法mIoU最高提升11.1%。

ABSTRACT

During the last half decade, convolutional neural networks (CNNs) have triumphed over semantic segmentation, which is one of the core tasks in many applications such as autonomous driving and augmented reality. However, to train CNNs requires a considerable amount of data, which is difficult to collect and laborious to annotate. Recent advances in computer graphics make it possible to train CNNs on photo-realistic synthetic imagery with computer-generated annotations. Despite this, the domain mismatch between the real images and the synthetic data hinders the models' performance. Hence, we propose a curriculum-style learning approach to minimizing the domain gap in urban scene semantic segmentation. The curriculum domain adaptation solves easy tasks first to infer necessary properties about the target domain; in particular, the first task is to learn global label distributions over images and local distributions over landmark superpixels. These are easy to estimate because images of urban scenes have strong idiosyncrasies (e.g., the size and spatial relations of buildings, streets, cars, etc.). We then train a segmentation network, while regularizing its predictions in the target domain to follow those inferred properties. In experiments, our method outperforms the baselines on two datasets and two backbone networks. We also report extensive ablation studies about our approach.

研究动机与目标

• 为解决语义分割中真实感合成图像与真实城市场景之间的域差距问题。
• 通过利用真实图像的自监督特性，减少对昂贵人工标注真实数据的依赖。
• 提升在合成数据上训练的模型在真实世界测试域上的泛化能力。
• 探究学习全局与局部标签分布是否可作为域自适应的有效归纳偏置。
• 验证课程学习在密集预测任务的域自适应中的有效性。

提出的方法

• 该方法首先估计目标图像整体的全局标签分布，以及目标域内超像素上的局部标签分布。
• 这些分布被用作监督信号，在合成数据训练过程中正则化分割网络。
• 该方法采用课程学习策略，先解决较简单的辅助任务（分布估计），再进行像素级分割。
• 使用SLIC生成超像素，以定义用于估计局部标签分布的局部区域。
• 正则化项强制模型在真实图像上的预测结果与推断出的全局和局部标签分布相匹配。
• 框架通过结合像素级交叉熵损失与分布匹配正则化项的多任务损失端到端进行训练。

实验结果

研究问题

• RQ1 从真实图像中学习全局与局部标签分布是否能提升语义分割中的域自适应性能？
• RQ2 相较于直接进行域自适应，先从分布估计开始的课程学习策略是否能带来性能提升？
• RQ3 基于分布的正则化在减少合成与真实城市场景之间域偏移方面的有效性如何？
• RQ4 不同主干网络和数据划分对所提方法性能的影响如何？
• RQ5 所学习的标签分布对真实世界场景中的类别模糊性和视觉变化是否具有鲁棒性？

主要发现

• 所提出的课程域自适应方法在GTA2Cityscapes基准上达到29.7% mIoU，优于所有对比基线模型。
• 在Cityscapes上，该方法达到31.4% mIoU，相较于使用相同VGG-19主干的基线方法提升11.1%。
• 消融实验表明，全局与局部标签分布监督均对性能提升有显著贡献。
• 该方法在多种主干网络（包括VGG-19、DRN-26和ResNet-101）上均表现出一致的性能提升。
• 类别层面分析显示，'train'和'bus'等模糊类别仍具挑战性，表明当前合成数据保真度存在局限。
• 该框架在虚拟环境上表现出良好的泛化能力，表明其在基于仿真自动驾驶平台中具有潜在应用价值。