[论文解读] Keep it Simple: Image Statistics Matching for Domain Adaptation

Alexey Abramov, Christopher Bayer+1 more|arXiv (Cornell University)|May 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用 16

一句话总结

本文提出了一种简单但有效的目标检测领域自适应方法，通过匹配源域与目标域之间的全局图像统计特征——具体为特征分布匹配（FDM）和直方图匹配（HM）——实现域自适应。通过在不进行对抗性训练或架构修改的情况下对齐颜色直方图或特征的均值与协方差，该方法在多种域偏移场景（包括模拟到真实和真实到真实迁移）中实现了最先进性能，计算开销极低，且无需额外超参数或标注的目标域数据。

ABSTRACT

Applying an object detector, which is neither trained nor fine-tuned on data close to the final application, often leads to a substantial performance drop. In order to overcome this problem, it is necessary to consider a shift between source and target domains. Tackling the shift is known as Domain Adaptation (DA). In this work, we focus on unsupervised DA: maintaining the detection accuracy across different data distributions, when only unlabeled images are available of the target domain. Recent state-of-the-art methods try to reduce the domain gap using an adversarial training strategy which increases the performance but at the same time the complexity of the training procedure. In contrast, we look at the problem from a new perspective and keep it simple by solely matching image statistics between source and target domain. We propose to align either color histograms or mean and covariance of the source images towards the target domain. Hence, DA is accomplished without architectural add-ons and additional hyper-parameters. The benefit of the approaches is demonstrated by evaluating different domain shift scenarios on public data sets. In comparison to recent methods, we achieve state-of-the-art performance using a much simpler procedure for the training. Additionally, we show that applying our techniques significantly reduces the amount of synthetic data needed to learn a general model and thus increases the value of simulation.

研究动机与目标

• 解决因训练数据（源域）与部署数据（目标域）分布存在域偏移而导致的目标检测性能下降问题。
• 克服现有无监督领域自适应方法依赖复杂对抗性训练或架构修改的局限性。
• 证明仅通过简单全局图像统计对齐即可显著减小域差距，且计算成本极低，无需额外超参数。
• 表明应用该方法可减少对大规模合成训练数据的依赖，从而提升基于仿真数据生成的价值。
• 在多种域偏移场景下验证该方法的有效性，包括自动驾驶基准中的模拟到真实和真实到真实迁移。

提出的方法

• 使用广义颜色迁移技术，通过特征分布匹配（FDM）对齐源域与目标域之间颜色通道或深度特征的均值与协方差。
• 使用直方图匹配（HM）对齐源图像与目标图像的全局颜色分布，确保在强度和颜色统计上具有视觉相似性。
• 仅修改源域的训练输入图像，无需对目标检测器架构或训练过程进行任何更改。
• 以析取（OR）和加法（AND）两种形式组合FDM与HM，探索其在域对齐上的协同效应。
• 在经修改的源图像上训练Faster R-CNN检测器，仅使用未标注的目标域图像进行评估，以衡量领域自适应性能。
• 通过保持检测器不变，确保方法具有模型无关性，可轻松应用于其他模型（如SSD或YOLO）

实验结果

研究问题

• RQ1 仅通过全局图像统计对齐——具体为特征均值与协方差或颜色直方图——是否能在不使用对抗性训练的情况下有效减小目标检测中的域偏移？
• RQ2 FDM与HM在不同域偏移场景下与DA Faster R-CNN和Strong-Weak DA等最先进方法相比，性能表现如何？
• RQ3 FDM与HM在多大程度上可减少实现良好泛化所需的真实模拟数据量？
• RQ4 结合FDM与HM是否优于单独使用任一方法？若如此，哪种组合形式（OR与AND）带来的性能提升最为显著？
• RQ5 所提方法是否能在多种域偏移场景下有效应用，包括自动驾驶基准中的模拟到真实和真实到真实迁移？

主要发现

• 在GTA到Cityscapes迁移任务中，FDM与HM的组合实现了34.00 mAP，优于DA Faster R-CNN（30.81 mAP）和Strong-Weak DA（32.96 mAP）在相同设置下的表现。
• 在Cityscapes到Foggy Cityscapes的域偏移场景中，FDM与HM组合实现了41.22 mAP，优于DA Faster R-CNN（38.50 mAP），并相较基线Faster R-CNN（34.97 mAP）提升了2.7%。
• 在KITTI到Cityscapes场景中，最佳变体（FDM或HM）在车辆类别上达到66.93% AP，较DA Faster R-CNN（64.10%）提升3%，较基线Faster R-CNN（64.61%）提升13%。
• 析取组合（FDM或HM）在所有测试的域偏移场景中均持续优于单一方法，是所有变体中表现最佳的。
• 将FDM与HM应用于合成数据，可将所需数据量减少五倍，即可达到使用五倍未修改合成数据的性能水平，证明了该方法的数据高效性。
• 该方法在所有评估的域偏移场景中——包括模拟到真实和真实到真实迁移——均实现了最先进性能，且无需架构修改、对抗性训练或额外超参数调优。