[论文解读] DomainDrop: Suppressing Domain-Sensitive Channels for Domain Generalization

Jintao Guo, Qi Lei+1 more|arXiv (Cornell University)|Aug 20, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种名为DomainDrop的新颖域泛化框架，通过识别并抑制在不同域间激活不稳定的特征图通道（即域敏感通道），提升模型的鲁棒性。该方法利用域判别器根据域判别能力为各通道分配不同的丢弃率，减少对域特定特征的学习，在多个基准测试上取得最先进性能，并在理论上收紧了泛化误差界。

ABSTRACT

Deep Neural Networks have exhibited considerable success in various visual tasks. However, when applied to unseen test datasets, state-of-the-art models often suffer performance degradation due to domain shifts. In this paper, we introduce a novel approach for domain generalization from a novel perspective of enhancing the robustness of channels in feature maps to domain shifts. We observe that models trained on source domains contain a substantial number of channels that exhibit unstable activations across different domains, which are inclined to capture domain-specific features and behave abnormally when exposed to unseen target domains. To address the issue, we propose a DomainDrop framework to continuously enhance the channel robustness to domain shifts, where a domain discriminator is used to identify and drop unstable channels in feature maps of each network layer during forward propagation. We theoretically prove that our framework could effectively lower the generalization bound. Extensive experiments on several benchmarks indicate that our framework achieves state-of-the-art performance compared to other competing methods. Our code is available at https://github.com/lingeringlight/DomainDrop.

研究动机与目标

• 解决深度神经网络在未见目标域上因域偏移导致的性能下降问题。
• 识别出域泛化中过拟合的根本原因在于中间层中非鲁棒的、域敏感的特征通道。
• 提出一种在训练过程中通过通道级目标抑制域特定特征的方法。
• 从理论上证明：抑制域敏感通道可收紧泛化误差界。
• 证明DomainDrop与现有最先进方法正交，可与之结合进一步提升性能。

提出的方法

• 引入域判别器，评估每个通道对域分类的贡献，并据此分配对应的丢弃概率。
• 在训练过程中于中间层逐层随机插入DomainDrop，以在所有网络深度上抑制域敏感通道。
• 使用双重一致性损失，对不同DomainDrop扰动下的模型预测进行正则化，提升鲁棒性。
• 将通道鲁棒性定义为跨域激活的标准差，利用该指标识别不稳定、域敏感的通道。
• 理论上证明：抑制域敏感通道可通过降低源域差异（β）和源-目标域差距（γ）来减小泛化误差界。
• 将DomainDrop集成至多种主干网络架构中，包括ResNet-18和MLP类GFNet，验证其架构通用性。

实验结果

研究问题

• RQ1 能否利用通道级对域偏移的鲁棒性来提升域泛化性能？
• RQ2 具有高跨域激活方差的域敏感通道是否显著降低模型在未见域上的泛化能力？
• RQ3 基于域判别器引导的动态、通道特定丢弃机制能否有效抑制域特定特征，同时不损害不变表征？
• RQ4 抑制域敏感通道是否能带来更紧的泛化误差界？
• RQ5 DomainDrop能否与现有SOTA域泛化方法结合，进一步提升性能？

主要发现

• DomainDrop在四个标准基准上均取得最先进性能，包括PACS数据集上平均误差5.15%，以及Office-Home数据集上4.09%的误差。
• 该方法同时降低了源域差异（β）和源-目标域差距（γ），且在所有对比方法中达到最低值，证实了有效的域差距缩小。
• 在PACS数据集上，DomainDrop将RandAug的准确率提升3.06%（86.69% vs. 83.63%），将FACT提升2.63%（87.24% vs. 84.61%），表明其具有强大的正交增强能力。
• DomainDrop使GFNet的性能提升3.26%（91.02% vs. 87.76%），证明其在包括MLP类模型在内的多样化架构中均具有效性。
• 消融实验证实，域敏感通道存在于浅层与深层网络中，支持了逐层抑制的必要性。
• 双重一致性损失与基于域判别器的丢弃机制对实现鲁棒性能与泛化能力至关重要。