[论文解读] A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data

Xianfeng Li, Weijie Chen+5 more|arXiv (Cornell University)|Dec 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 11

一句话总结

本文提出了一种无需访问源数据的无监督域自适应目标检测（SFOD）框架，该框架利用预训练的源模型在不访问源数据的情况下为目标域训练生成伪标签。通过引入自熵下降（SED）自动选择伪标签生成的最佳置信度阈值，并使用Mosaic数据增强技术模拟假阴性样本，SFOD在多个域自适应基准上实现了最先进性能，表明现有无监督域自适应方法中对源数据的利用尚不充分。

ABSTRACT

Unsupervised domain adaptation (UDA) assumes that source and target domain data are freely available and usually trained together to reduce the domain gap. However, considering the data privacy and the inefficiency of data transmission, it is impractical in real scenarios. Hence, it draws our eyes to optimize the network in the target domain without accessing labeled source data. To explore this direction in object detection, for the first time, we propose a source data-free domain adaptive object detection (SFOD) framework via modeling it into a problem of learning with noisy labels. Generally, a straightforward method is to leverage the pre-trained network from the source domain to generate the pseudo labels for target domain optimization. However, it is difficult to evaluate the quality of pseudo labels since no labels are available in target domain. In this paper, self-entropy descent (SED) is a metric proposed to search an appropriate confidence threshold for reliable pseudo label generation without using any handcrafted labels. Nonetheless, completely clean labels are still unattainable. After a thorough experimental analysis, false negatives are found to dominate in the generated noisy labels. Undoubtedly, false negatives mining is helpful for performance improvement, and we ease it to false negatives simulation through data augmentation like Mosaic. Extensive experiments conducted in four representative adaptation tasks have demonstrated that the proposed framework can easily achieve state-of-the-art performance. From another view, it also reminds the UDA community that the labeled source data are not fully exploited in the existing methods.

研究动机与目标

• 为解决在隐私或传输限制下无法访问源数据时，目标检测中无监督域自适应的实际挑战。
• 开发一种仅依赖预训练源模型而无需直接访问标注源数据的高效域自适应方法。
• 在缺乏真实标签的情况下，通过自熵下降（SED）自动选择可靠置信度阈值，提升伪标签质量。
• 通过Mosaic等数据增强技术模拟假阴性样本，减轻噪声伪标签（尤其是假阴性）的负面影响。
• 证明现有无监督域自适应方法可能低估了源数据的利用潜力，而无源数据自适应方法可实现相当或更优性能。

提出的方法

• 该框架利用预训练的源模型为未标注的目标域样本生成伪标签。
• 提出自熵下降（SED）作为度量，通过最小化目标数据集上预测结果的平均自熵，搜索最优置信度阈值。
• 当置信度阈值从高到低递减时，选择平均自熵的第一个局部最小值作为阈值，以在真正例与噪声标签之间实现平衡。
• 假阴性被识别为伪标签中占主导地位的噪声类型，尤其在小尺寸或被遮挡的物体中更为显著。
• 应用Mosaic数据增强技术模拟假阴性样本，以提升对困难正样本的检测能力。
• 通过端到端方式使用过滤后的增强伪标签，以自学习方式训练目标检测器。

实验结果

研究问题

• RQ1 在完全无法访问任何源域数据的情况下，能否有效实现无监督域自适应目标检测？
• RQ2 在缺乏真实标签的情况下，如何为伪标签生成选择最优置信度阈值？
• RQ3 当无法访问源数据时，伪标签中占主导地位的噪声类型是什么？如何有效缓解？
• RQ4 像Mosaic这样的数据增强技术能否有效模拟假阴性样本，并提升无源数据域自适应中的检测性能？
• RQ5 现有无监督域自适应方法在多大程度上低估了源数据的利用？无源数据方法能否实现相当或更优的性能？

主要发现

• 所提出的SFOD框架在四个代表性域自适应任务上实现了最先进性能，且完全未访问任何源数据。
• 与22.3%的基线相比，使用SED选择置信度阈值使Cityscapes到Foggy Cityscapes域自适应任务的mAP提升高达33.5%。
• 将SED与Mosaic增强结合后，同一任务的mAP进一步提升至36.3%，验证了假阴性模拟的有效性。
• 在BDD100k域自适应任务（Cityscapes到BDD100k）中，该方法达到37.0%的mAP，超过CR-DA-DET的26.9%基线。
• 对目标域图像进行去雾处理可使SFOD性能提升约3%，表明雾霾会增加标签噪声并降低检测质量。
• 大量消融实验表明，假阴性是伪标签中主要的噪声来源，验证了通过Mosaic模拟假阴性的设计选择的合理性。