[论文解读] Self-Training and Adversarial Background Regularization for Unsupervised Domain Adaptive One-Stage Object Detection

Seunghyeon Kim, Jaehoon Choi+2 more|arXiv (Cornell University)|Sep 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用 30

一句话总结

该论文提出了一种弱自训练（WST）方法和对抗性背景得分正则化（BSR），以提升无监督域自适应单阶段目标检测的性能。WST通过遮蔽困难负样本伪标签的梯度并使用SRRS进行可靠的伪标签生成，从而稳定自训练过程；而BSR则增强了目标域中前景与背景的判别能力。该方法在无需目标域标注的情况下，在标准基准上实现了最先进（SOTA）的mAP提升。

ABSTRACT

Deep learning-based object detectors have shown remarkable improvements. However, supervised learning-based methods perform poorly when the train data and the test data have different distributions. To address the issue, domain adaptation transfers knowledge from the label-sufficient domain (source domain) to the label-scarce domain (target domain). Self-training is one of the powerful ways to achieve domain adaptation since it helps class-wise domain adaptation. Unfortunately, a naive approach that utilizes pseudo-labels as ground-truth degenerates the performance due to incorrect pseudo-labels. In this paper, we introduce a weak self-training (WST) method and adversarial background score regularization (BSR) for domain adaptive one-stage object detection. WST diminishes the adverse effects of inaccurate pseudo-labels to stabilize the learning procedure. BSR helps the network extract discriminative features for target backgrounds to reduce the domain shift. Two components are complementary to each other as BSR enhances discrimination between foregrounds and backgrounds, whereas WST strengthen class-wise discrimination. Experimental results show that our approach effectively improves the performance of the one-stage object detection in unsupervised domain adaptation setting.

研究动机与目标

• 解决当源域与目标域数据分布不同时，单阶段目标检测器面临的域偏移挑战。
• 通过减轻由不准确伪标签引起的性能下降，稳定无监督域自适应中的自训练过程。
• 通过增强目标域背景的判别性特征学习，减少域偏移，因为这些背景通常不具备可迁移性。
• 在无需目标域图像级标签的前提下实现有效的自训练，区别于以往的弱监督方法。
• 在实际部署场景中提升单阶段检测器的泛化能力，尤其是在目标数据标注有限或缺失的情况下。

提出的方法

• 提出弱自训练（WST），利用SRRS（支持区域可靠得分）筛选可靠的伪标签，减少假阳性和假阴性。
• 在自训练过程中对困难负样本应用梯度遮蔽，防止因错误的背景预测导致模型崩溃。
• 通过仅从原始负样本集中选取简单负样本，构建一个优化后的负样本集 $\widetilde{\text{Neg}}$，以稳定学习过程。
• 提出对抗性背景得分正则化（BSR），采用类似焦点损失的损失函数，引入超参数 $\gamma$ 和 $t$，以突出困难背景样本的重要性。
• 使用源域数据的监督损失与目标域数据的自训练损失相结合的方式训练检测器，其中包含WST与BSR组件。
• 使用域判别器进行特征对齐，但将BSR的重点放在提升前景-背景判别能力，而非全局特征对齐。

Figure 1: Illustration of unsupervised domain adaptive one-stage object detection. We train an object detector with labeled source images and unlabeled target images. Our method improves the performance of the network for target inputs.

实验结果

研究问题

• RQ1 在不依赖图像级标签的前提下，能否在无监督域自适应单阶段目标检测中稳定自训练？
• RQ2 如何有效缓解伪标签中的假阳性与假阴性，以防止性能下降？
• RQ3 增强背景特征判别能力在多大程度上能减少单阶段检测器中的域偏移？
• RQ4 BSR中超参数 $\gamma$ 和 $t$ 如何影响模型的稳定性和准确性？
• RQ5 WST与BSR的组合是否比单独使用任一组件更有效地减少域偏移并提升检测mAP？

主要发现

• 所提出的WST方法在Watercolor2k数据集上实现了34.0%的mAP，显著优于朴素自训练（19.8%）和其他基线方法。
• 结合SRRS与弱负样本挖掘，该方法在Clipart1k数据集上相较基础网络mAP提升了14.5%，证明了可靠负样本筛选的有效性。
• 当 $\gamma=0.5$ 且 $t=0.5$ 时，BSR取得最佳性能，表明适中强度的正则化最为理想，过强的正则化反而损害学习效果。
• 消融实验确认SRRS与弱负样本挖掘均不可或缺：移除任一组件均导致性能迅速下降。
• 可视化结果表明，所提方法能以更高置信度检测目标，且在复杂背景中假阳性更少。
• 在标准基准（如COCO-to-Clipart、COCO-to-Watercolor）的无监督域自适应设置下，该方法达到了最先进性能。

Figure 2: Trends of mAP on the target domain with training epochs. A naive self-training degenerates the accuracy without image-level labels and the regression loss (blue, triangle). Our weak self-training (WST) enables effective self-training under the same settings (red, rectangle).