[论文解读] Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation

Shuang Li, Fangrui Lv+4 more|arXiv (Cornell University)|Dec 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 5

一句话总结

该论文提出了一种新型无监督域自适应方法——双向分类器确定性最大化（BCDM），通过引入分类器确定性差异（CDD）这一度量来增强特征的可分性，CDD用于衡量双分类器预测中的一致性。BCDM通过交替最大化和最小化CDD，以促进置信且一致的预测，以及多样化且可分的表征，从而在图像分类基准上实现了最先进性能，准确率最高提升1.4%。

ABSTRACT

Unsupervised domain adaptation challenges the problem of transferring knowledge from a well-labelled source domain to an unlabelled target domain. Recently,adversarial learning with bi-classifier has been proven effective in pushing cross-domain distributions close. Prior approaches typically leverage the disagreement between bi-classifier to learn transferable representations, however, they often neglect the classifier determinacy in the target domain, which could result in a lack of feature discriminability. In this paper, we present a simple yet effective method, namely Bi-Classifier Determinacy Maximization(BCDM), to tackle this problem. Motivated by the observation that target samples cannot always be separated distinctly by the decision boundary, here in the proposed BCDM, we design a novel classifier determinacy disparity (CDD) metric, which formulates classifier discrepancy as the class relevance of distinct target predictions and implicitly introduces constraint on the target feature discriminability. To this end, the BCDM can generate discriminative representations by encouraging target predictive outputs to be consistent and determined, meanwhile, preserve the diversity of predictions in an adversarial manner. Furthermore, the properties of CDD as well as the theoretical guarantees of BCDM's generalization bound are both elaborated. Extensive experiments show that BCDM compares favorably against the existing state-of-the-art domain adaptation methods.

研究动机与目标

• 为解决目标域预测中分类器确定性不足的问题，该问题会损害无监督域自适应中的特征可分性。
• 克服现有双分类器差异损失（如ℓ₁）无法强制实现预测确定性的局限性。
• 提出一种度量，用于捕捉不一致预测中的类别相关性，以提升表征质量。
• 设计一种训练策略，通过交替最大化和最小化CDD损失，以改善对抗性特征学习。
• 为BCDM在目标域上的泛化性能提供理论依据。

提出的方法

• 提出分类器确定性差异（CDD），定义为不同类别上两个双分类器预测结果乘积的总和，用于量化预测不一致性。
• 设计两阶段训练策略：首先最大化CDD以鼓励输出空间多样化，随后最小化CDD以强制实现一致且置信的预测。
• 将CDD用作损失函数，对抗性地优化双分类器系统，同时促进目标预测的多样性与确定性。
• 将CDD作为即插即用模块集成到STAR等现有方法中，验证其兼容性与有效性。
• 理论上分析BCDM的泛化界，表明其对域偏移具有更强的鲁棒性。
• 在消融实验中采用3层全连接网络，在主实验中使用ResNet-50以验证性能。

实验结果

研究问题

• RQ1 能否通过捕捉双分类器不一致预测中类别相关性的度量，提升无监督域自适应中的特征可分性？
• RQ2 通过CDD损失强制实现分类器确定性，是否能提升目标域预测的置信度与一致性？
• RQ3 所提出的基于CDD的训练策略是否能在域对齐与准确率方面超越标准差异损失（如ℓ₁与SWD）？
• RQ4 CDD度量对对抗训练过程的收敛性与稳定性有何影响？
• RQ5 BCDM在目标域上泛化性能的理论依据是什么？

主要发现

• 在Office-31数据集上，BCDM平均准确率达到89.2%，相比基线方法STAR提升1.4%。
• 在VisDA-2017基准上，BCDM降低了目标预测的不确定性，超过90%的预测置信度高于0.9，而MCD的置信度较低。
• 与其他对比方法相比，BCDM表征的代理𝒜-距离最小，表明域间差异更小。
• SVD分析显示，BCDM保留了更多有信息量的奇异值，表明特征可分性更强。
• t-SNE可视化结果表明，BCDM在目标域中保持了清晰且分离良好的类别边界，而MCD与SWD则未能实现。
• BCDM收敛更快，测试误差更低，表明训练稳定性与效率更优。