[论文解读] FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation

Judy Hoffman, Dequan Wang+2 more|arXiv (Cornell University)|Dec 8, 2016

Adversarial Robustness in Machine Learning参考文献 30被引用 692

一句话总结

引入了第一种用于语义分割的无监督领域自适应方法，基于全卷积网络（FCNs），将全局域对抗训练与类别特定约束学习相结合，以实现从带标签的源域向未标注的目标域的迁移。

ABSTRACT

Fully convolutional models for dense prediction have proven successful for a wide range of visual tasks. Such models perform well in a supervised setting, but performance can be surprisingly poor under domain shifts that appear mild to a human observer. For example, training on one city and testing on another in a different geographic region and/or weather condition may result in significantly degraded performance due to pixel-level distribution shift. In this paper, we introduce the first domain adaptive semantic segmentation method, proposing an unsupervised adversarial approach to pixel prediction problems. Our method consists of both global and category specific adaptation techniques. Global domain alignment is performed using a novel semantic segmentation network with fully convolutional domain adversarial learning. This initially adapted space then enables category specific adaptation through a generalization of constrained weak learning, with explicit transfer of the spatial layout from the source to the target domains. Our approach outperforms baselines across different settings on multiple large-scale datasets, including adapting across various real city environments, different synthetic sub-domains, from simulated to real environments, and on a novel large-scale dash-cam dataset.

研究动机与目标

• 在域迁移下推动语义分割研究，减少对目标标注的依赖。
• 开发一个针对 FCNs 的像素级领域自适应框架，处理全局与类别特定的偏移。
• 利用对抗训练对齐源/目标表示，并通过约束传递空间布局。
• 在 synthetic-to-real、跨季节和跨城市数据集上评估该方法，并引入一个新的 BDDS 数据集。

提出的方法

• 通过像素级域对抗训练实现全局域对齐，使用对应感受野的区域化实例。
• 在域分类器和特征空间之间交替优化，以最小化源/目标表示之间的域差异。
• 通过受约束的多实例学习目标实现类别特定自适应，将源场景布局统计传递到目标域。
• 推导一个联合目标，将有监督的源分割损失与全局域对齐及受约束的 MIL 损失结合。
• 以基于 VGG16 的膨胀卷积 FCN 前端作为分割与自适应的骨干网络。
• 在目标域预测图像级标签，在适应过程中强制执行源导出的类别大小约束。

实验结果

研究问题

• RQ1 在目标标签不可用时，无监督域自适应是否能提升语义分割？
• RQ2 将全局域对齐与类别特定、布局感知的约束结合，是否优于任一单独组件？
• RQ3 在驾驶场景中的 synthetic 与 real 域、季节和城市之间，该方法的迁移效果如何？
• RQ4 传递空间布局统计对跨域分割性能的影响是什么？

主要发现

• 全局域对齐 (GA) 在大规模域移位时相对于未自适应基线提供显著的 mIoU 提升（synthetic-to-real，GTA5/SYNTHIA 到 Cityscapes）。
• 类别特定自适应 (CA) 通过在目标中强制源域相似的空间布局获得额外提升，尤其对某些类别。
• GA + CA 在若干跨域设置中优于仅 GA，显示出将全局对齐与布局传递结合的价值。
• 在不同季节中，该方法在大多数类别上实现了平均提升（约 3 个百分点的 mIoU）。
• 在 Cityscapes 内的跨城市自适应主要来自域对抗训练，且对一个子集类别的 CA 也带来额外提升。
• 引入 BDDS，一个大规模的行车记录仪数据集，适应后在定性方面显示改进。