[论文解读] Domain-Specific Suppression for Adaptive Object Detection

Yu Wang, Rui Zhang+5 more|arXiv (Cornell University)|May 8, 2021

Advanced Neural Network Applications参考文献 45被引用 5

一句话总结

该论文提出了一种新型梯度约束方法——领域特定抑制（Domain-Specific Suppression, DSS），通过在CNN反向传播中显式分离领域不变与领域特定方向，实现对领域特定噪声的针对性抑制。通过聚焦于领域不变特征的优化，DSS在多种无监督域自适应（UDA）目标检测场景中实现了SOTA性能，mAP提升达10.2–12.2%。

ABSTRACT

Domain adaptation methods face performance degradation in object detection, as the complexity of tasks require more about the transferability of the model. We propose a new perspective on how CNN models gain the transferability, viewing the weights of a model as a series of motion patterns. The directions of weights, and the gradients, can be divided into domain-specific and domain-invariant parts, and the goal of domain adaptation is to concentrate on the domain-invariant direction while eliminating the disturbance from domain-specific one. Current UDA object detection methods view the two directions as a whole while optimizing, which will cause domain-invariant direction mismatch even if the output features are perfectly aligned. In this paper, we propose the domain-specific suppression, an exemplary and generalizable constraint to the original convolution gradients in backpropagation to detach the two parts of directions and suppress the domain-specific one. We further validate our theoretical analysis and methods on several domain adaptive object detection tasks, including weather, camera configuration, and synthetic to real-world adaptation. Our experiment results show significant advance over the state-of-the-art methods in the UDA object detection field, performing a promotion of $10.2\sim12.2\%$ mAP on all these domain adaptation scenarios.

研究动机与目标

• 为解决无监督域自适应（UDA）目标检测中因领域特定特征干扰导致的性能下降问题。
• 通过在模型权重和梯度中显式分离领域不变与领域特定方向，提升模型的可迁移性。
• 开发一种即插即用的梯度约束机制，增强领域不变特征学习，且无需任务特定的微调。
• 验证当前UDA方法即使在整体特征分布对齐的情况下，仍无法对齐领域不变组件。
• 在多种领域偏移场景下（包括天气、相机配置以及合成到真实域的迁移）验证DSS的有效性。

提出的方法

• 通过将权重方向作为投影基，将模型权重和梯度分解为领域不变与领域特定方向分量。
• 通过将梯度投影到权重向量上，估计其领域特定分量，从而在反向传播中实现定向抑制。
• 简化变体通过L2归一化权重，降低计算开销，同时保持有效性。
• 该方法以即插即用模块形式实现，兼容Faster R-CNN和ResNet-50等标准检测框架。
• 通过梯度约束，使优化过程更倾向于收敛于领域不变最优解，减少在领域特定方向上的更新。
• 在Cityscapes、Foggy Cityscapes、KITTI和SIM10K数据集上进行验证，并在COCO预训练模型上进行消融实验。

实验结果

研究问题

• RQ1 显式分离领域不变与领域特定梯度方向是否能提升目标检测中的可迁移性？
• RQ2 为何当前UDA方法即使在整体特征分布对齐的情况下，仍无法对齐领域不变特征？
• RQ3 抑制领域特定梯度分量是否能提升在不同领域偏移下的泛化能力？
• RQ4 像DSS这样简单且通用的梯度约束，是否能超越复杂的分布对齐方法在UDA目标检测中的表现？
• RQ5 大规模数据集预训练与领域特定抑制在提升判别能力与可迁移性方面如何相互作用？

主要发现

• DSS在多个UDA目标检测基准上，包括天气、相机配置以及合成到真实域的迁移场景，相较SOTA方法实现了10.2–12.2%的mAP提升。
• 在SIM10K到Cityscapes基准上，DSS结合COCO预训练达到58.6 mAP，相比源模型仅训练基线提升了19.3个百分点。
• 梯度量化分析显示，DSS显著放大了浅层梯度——这些层中领域不变的运动模式至关重要——同时抑制了深层梯度。
• 可视化结果证实，DSS有效解决了尽管特征对齐但仍存在的领域不变特征不匹配问题，从而缓解了性能下降。
• 该方法对模式与纹理分布不匹配（如浓雾）具有鲁棒性，而基线UDA方法在此类场景下会失效。
• 简化版DSS通过L2归一化权重，在保持高性能的同时实现极低计算开销，支持即插即用部署。