[论文解读] Instance Relation Graph Guided Source-Free Domain Adaptive Object Detection

Vibashan VS, Poojan Oza+1 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种无源域自适应目标检测方法，通过实例关系图（IRG）实现图引导的对比学习，以增强特征表示。通过建模目标提议之间的关系，并采用带有图蒸馏的师生框架，该方法提升了目标域的泛化能力，在Cityscapes→FoggyCityscapes数据集上相比基线方法实现了1.9 mAP的性能提升，达到当前最先进水平。

ABSTRACT

Unsupervised Domain Adaptation (UDA) is an effective approach to tackle the issue of domain shift. Specifically, UDA methods try to align the source and target representations to improve the generalization on the target domain. Further, UDA methods work under the assumption that the source data is accessible during the adaptation process. However, in real-world scenarios, the labelled source data is often restricted due to privacy regulations, data transmission constraints, or proprietary data concerns. The Source-Free Domain Adaptation (SFDA) setting aims to alleviate these concerns by adapting a source-trained model for the target domain without requiring access to the source data. In this paper, we explore the SFDA setting for the task of adaptive object detection. To this end, we propose a novel training strategy for adapting a source-trained object detector to the target domain without source data. More precisely, we design a novel contrastive loss to enhance the target representations by exploiting the objects relations for a given target domain input. These object instance relations are modelled using an Instance Relation Graph (IRG) network, which are then used to guide the contrastive representation learning. In addition, we utilize a student-teacher based knowledge distillation strategy to avoid overfitting to the noisy pseudo-labels generated by the source-trained model. Extensive experiments on multiple object detection benchmark datasets show that the proposed approach is able to efficiently adapt source-trained object detectors to the target domain, outperforming previous state-of-the-art domain adaptive detection methods. Code and models are provided in \href{https://viudomain.github.io/irg-sfda-web/}{https://viudomain.github.io/irg-sfda-web/}.

研究动机与目标

• 解决由于隐私或专有约束导致无法获取源数据时，目标检测中域分布偏移的挑战。
• 在无法访问源数据或标签的情况下，提升目标域数据的特征表示质量。
• 通过实例级关系增强特征鲁棒性，克服源模型生成的噪声伪标签问题。
• 设计一种自监督对比学习策略，利用目标实例关系生成高质量正样本对。
• 在多个基准上实现无源域自适应目标检测的最先进性能。

提出的方法

• 基于图卷积网络构建实例关系图（IRG）网络，用于建模目标域中目标提议特征之间的成对关系。
• 设计一种图引导的对比学习（GCL）损失，利用IRG识别对比表示学习中的正样本对与负样本对。
• 采用带有强-弱数据增强的师生框架，以提升伪标签质量与特征一致性。
• 引入图蒸馏损失，对齐学生与教师网络之间的IRG表示，增强知识迁移效果。
• 采用均值教师训练策略，结合弱增强与强增强，以在无源数据条件下稳定学习并提升鲁棒性。
• 使用教师网络生成的伪标签进行检测器训练，同时通过IRG与对比损失引导目标域上的表示优化。

实验结果

研究问题

• RQ1 在无源域自适应中，建模目标提议的实例级关系是否能提升特征表示质量？
• RQ2 在域分布偏移背景下，图引导的对比学习相较于标准对比学习在目标检测中的表现如何？
• RQ3 当源数据不可用时，结合图蒸馏的师生框架是否能提升性能？
• RQ4 实例关系图在多大程度上能减轻无源自适应中噪声伪标签的影响？
• RQ5 所提方法能否在多种域偏移场景（如天气变化、相机配置差异）下实现良好泛化？

主要发现

• 在Cityscapes→FoggyCityscapes数据集上，该方法达到37.1 mAP，比之前最先进（SOTA）的SFOD方法高出1.0 mAP。
• 仅引入图引导对比学习（GCL）即可使mAP在基线（含图蒸馏）基础上提升1.9 mAP（从35.9 mAP提升至37.1 mAP）。
• 均值教师框架中的强-弱（SW）增强策略表现最佳，相比弱-弱（WW）与强-强（SS）变体，mAP提升2.1点。
• 在KITTI→Cityscapes设置中，该方法相比SFOD提升1.1 mAP，表明其在不同域偏移类型下具有鲁棒性。
• 定性分析表明，IRG网络能有效学习并增强实例间关系，使提议表示更加连贯与一致。
• 消融实验表明，结合图蒸馏与GCL可带来最大性能增益，验证了两者互补的作用。