[论文解读] DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation

Zuxuan Wu, Xintong Han+5 more|arXiv (Cornell University)|Apr 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 58被引用 22

一句话总结

DCAN 提出了一种轻量级、端到端的无监督场景自适应框架，用于语义分割，通过执行双通道特征对齐实现：首先在像素级图像生成器中对齐源域与目标域图像的特征，以合成类似目标域的图像；然后在分割网络中对齐高层特征。该方法在 Synthia 到 Cityscapes 的自适应任务中取得了最先进性能，mIoU 提升最高达 1.4%，且无需对抗性训练。

ABSTRACT

Harvesting dense pixel-level annotations to train deep neural networks for semantic segmentation is extremely expensive and unwieldy at scale. While learning from synthetic data where labels are readily available sounds promising, performance degrades significantly when testing on novel realistic data due to domain discrepancies. We present Dual Channel-wise Alignment Networks (DCAN), a simple yet effective approach to reduce domain shift at both pixel-level and feature-level. Exploring statistics in each channel of CNN feature maps, our framework performs channel-wise feature alignment, which preserves spatial structures and semantic information, in both an image generator and a segmentation network. In particular, given an image from the source domain and unlabeled samples from the target domain, the generator synthesizes new images on-the-fly to resemble samples from the target domain in appearance and the segmentation network further refines high-level features before predicting semantic maps, both of which leverage feature statistics of sampled images from the target domain. Unlike much recent and concurrent work relying on adversarial training, our framework is lightweight and easy to train. Extensive experiments on adapting models trained on synthetic segmentation benchmarks to real urban scenes demonstrate the effectiveness of the proposed framework.

研究动机与目标

• 解决将模型从合成数据迁移到真实城市场景时语义分割中的域偏移问题。
• 在不依赖对抗性训练的前提下，同时减少像素级和特征级的域差异。
• 通过通道级归一化，保留空间结构和语义信息。
• 通过目标域图像的随机采样，提升泛化能力与训练效率。

提出的方法

• 该框架使用实例归一化，对齐源域与目标域特征图的通道统计特性。
• 图像生成器将源图像转换为随机采样目标域图像的风格，实现像素级域对齐。
• 分割网络应用通道级特征对齐，利用目标域统计特性优化高层特征。
• 对目标图像进行随机采样，提供正则化效果并提升计算效率，避免完整枚举。
• 整个系统以端到端方式训练，无对抗损失，因此轻量化且易于优化。
• 特征对齐在分割网络的多个层级应用，最优性能出现在 FCN8s-VGG16 的 Conv3 层之后。

实验结果

研究问题

• RQ1 通道级特征对齐是否能有效减少语义分割中像素空间与特征空间的域偏移？
• RQ2 与完整枚举相比，目标域图像的随机采样在性能与训练效率方面表现如何？
• RQ3 与全局特征对齐方法相比，通道级对齐是否能更好地保留空间结构与语义信息？
• RQ4 非对抗性框架是否能在无监督场景自适应中超越最先进的对抗性方法？
• RQ5 在神经网络中，通道级对齐在哪个位置对分割性能提升最显著？

主要发现

• DCAN 在 Synthia-to-Cityscapes 基准上实现了 35.4% 的平均交并比（mIoU），比基线方法高出 1.4%。
• 该方法优于对抗性基线方法 ADDA（mIoU 为 34.0%），收敛更快，且无需对抗性训练。
• 每张源图像随机采样 1–8 张目标图像的策略优于使用全部 3,000 张目标图像，表明随机采样具有正则化优势。
• 在 FCN8s-VGG16 中，最优对齐发生在 Conv3 层之后，此时特征图具备足够的空间分辨率与通道容量。
• 仅使用一张采样目标图像即可在 PSPNet 和 FCN8s-ResNet101 上取得具有竞争力的结果，表明在数据稀缺条件下具有极高效率。
• 与源域仅训练的基线相比，MMD 和 CORAL 等特征对齐方法表现更差，凸显了通道级归一化的优越性。