[论文解读] Domain-Specific Batch Normalization for Unsupervised Domain Adaptation

Woong-Gi Chang, Tackgeun You+3 more|arXiv (Cornell University)|May 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 25

一句话总结

本文提出了一种新型无监督域自适应框架——领域特定批量归一化（DSBN），该框架通过为源域和目标域分别使用独立的批量归一化层，同时共享所有其他网络参数，实现了对领域特定信息与领域不变特征的分离。通过采用两阶段训练流程——第一阶段利用集成DSBN的模型生成伪标签，第二阶段通过多任务分类进一步优化伪标签——该方法在Office-31和VisDA-C基准上实现了最先进性能，显著提升了领域不变表示学习能力，其核心在于领域特定的归一化机制。

ABSTRACT

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a two-stage algorithm. In the first stage, we estimate pseudo-labels for the examples in the target domain using an external unsupervised domain adaptation algorithm---for example, MSTN or CPUA---integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-the-art accuracy in the standard setting and the multi-source domain adaption scenario.

研究动机与目标

• 通过将领域特定信息与领域不变特征分离，解决无监督域自适应中的领域偏移问题。
• 通过引入按领域专门化的领域特定批量归一化层，同时共享所有其他模型参数，提升深度神经网络的泛化能力。
• 开发一种通用、即插即用的框架，兼容现有基于批量归一化的深度学习域自适应方法。
• 通过将DSBN扩展至多源域设置，实现有效的多源域自适应。
• 通过伪标签的迭代优化与领域特定归一化，实现在标准基准上的最先进性能。

提出的方法

• 提出领域特定批量归一化（DSBN），用两个并行的BN分支替代标准批量归一化——一个用于源域，一个用于目标域，各自学习领域特定的统计量。
• 采用两阶段训练策略：在第一阶段，使用集成DSBN的预训练模型为无标签的目标域数据生成伪标签；在第二阶段，使用源域数据和伪标签化的目标域数据联合训练多任务分类网络。
• 在不同领域使用相同的网络架构，但为每个领域维护独立的BN统计量，从而在共享所有其他层和参数的前提下实现领域特定的特征适应。
• 在第二阶段引入迭代优化机制，即利用前一迭代的模型生成更优的伪标签用于下一阶段训练，逐步提升性能。
• 通过为每个源域分配独立的BN分支，将框架扩展至多源域自适应，实现多个源域的联合适应。
• 通过将DSBN集成到现有无监督域自适应方法（如MSTN和CPUA）中，替换其标准BN层，保持兼容性并提升性能。

实验结果

研究问题

• RQ1 领域特定批量归一化是否能通过将领域特定统计量与共享特征分离，提升无监督域自适应中的表示学习能力？
• RQ2 在伪标签优化的两阶段训练流程中，是否能增强模型在领域偏移场景下的泛化能力？
• RQ3 DSBN能否有效扩展至多源域自适应？在该设置下是否优于标准BN？
• RQ4 与共享批量归一化相比，DSBN在多大程度上提升了领域不变表示学习能力？
• RQ5 伪标签的迭代优化在第二阶段训练中对最终分类准确率有何影响？

主要发现

• 在Office-31数据集上，DSBN实现了最先进准确率：与MSTN结合时达到75.4%的平均准确率，与CPUA结合时达到81.2%。
• 在VisDA-C基准上，DSBN框架在多源设置下使用MSTN达到82.3%的准确率，使用CPUA达到83.0%的准确率，显著优于标准BN及其他基线方法。
• 消融实验表明，在第二阶段同时使用DSBN相比仅使用BN的训练，准确率提升7.9%，证明了领域特定归一化的重要性。
• 迭代第二阶段训练使准确率从首次迭代后的80.2%提升至四次迭代后的82.7%，证实了随时间优化伪标签的收益。
• t-SNE可视化结果表明，DSBN改善了同一类别在不同域间特征的对齐程度，表明其在学习领域不变表示方面更优。
• 该框架在难以分类的类别上也实现了稳定的性能提升，尤其在细粒度或模糊类别中表现最为显著。