[论文解读] Active Source Free Domain Adaptation

Fan Wang, Zhongyi Han+2 more|arXiv (Cornell University)|May 22, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出了主动无源域自适应（ASFDA），这是一种新设定，通过主动标注少数目标样本以克服无源域自适应中的性能瓶颈。它提出了最小快乐点学习（MHPL），通过邻居混沌不确定性、个体多样性及目标相似性识别信息量丰富的样本，并利用邻居焦点损失增强模型对这些样本的关注，仅以极低的标注成本实现显著的准确率提升。

ABSTRACT

Source free domain adaptation (SFDA) aims to transfer a trained source model to the unlabeled target domain without accessing the source data. However, the SFDA setting faces an effect bottleneck due to the absence of source data and target supervised information, as evidenced by the limited performance gains of newest SFDA methods. In this paper, for the first time, we introduce a more practical scenario called active source free domain adaptation (ASFDA) that permits actively selecting a few target data to be labeled by experts. To achieve that, we first find that those satisfying the properties of neighbor-chaotic, individual-different, and target-like are the best points to select, and we define them as the minimum happy (MH) points. We then propose minimum happy points learning (MHPL) to actively explore and exploit MH points. We design three unique strategies: neighbor ambient uncertainty, neighbor diversity relaxation, and one-shot querying, to explore the MH points. Further, to fully exploit MH points in the learning process, we design a neighbor focal loss that assigns the weighted neighbor purity to the cross-entropy loss of MH points to make the model focus more on them. Extensive experiments verify that MHPL remarkably exceeds the various types of baselines and achieves significant performance gains at a small cost of labeling.

研究动机与目标

• 为解决无源域自适应（SFDA）中的性能瓶颈问题，该问题因无法访问源数据和标注的目标数据而产生。
• 提出一种更具实用性的新设定——主动无源域自适应（ASFDA），允许专家主动标注少数目标样本。
• 识别并利用最具信息量的目标样本，称为最小快乐（MH）点，其具备邻居混沌性、个体差异性及目标相似性特征。
• 设计一种学习框架MHPL，通过新颖的不确定性、多样性与损失机制，有效探索并利用MH点。

提出的方法

• 提出邻居环境不确定性，一种基于特征空间中邻居纯度与亲和力的样本不确定性度量，用于识别邻居混沌样本。
• 引入邻居多样性松弛机制，确保所选样本具有个体差异性，降低查询中的冗余性。
• 采用单次查询机制，利用预训练的源模型在一步内选择目标样本，更好地捕捉域偏移特征。
• 设计邻居焦点损失，将加权邻居纯度引入交叉熵损失以作用于MH点，增强模型对信息量丰富样本的关注。
• 使用未经微调的源模型进行引导选择，保留域差异意识，从而更有效地发现目标相似样本。

实验结果

研究问题

• RQ1 当源数据不可用时，对少数目标样本进行主动标注是否能显著提升无源域自适应的性能？
• RQ2 在缺乏源数据和监督信号的情况下，哪些特性定义了最具信息量的目标样本？
• RQ3 如何联合优化不确定性、多样性和目标相似性，以实现在域自适应中有效的主动样本选择？
• RQ4 一种强调邻居纯度的专用损失函数是否能提升模型在MH点上的泛化能力？

主要发现

• MHPL在SOTA SFDA方法上实现显著性能提升，尤其在Office-Home数据集上准确率提升超过1%。
• 邻居焦点损失在不同选择比例下均一致提升准确率，优于标准交叉熵损失与基于熵的损失。
• 消融实验表明，若移除邻居焦点损失，准确率下降，证明其在利用MH点方面的有效性。
• 使用源模型的单次查询机制优于迭代方法，因其能更好地保留域偏移意识。
• 邻居环境不确定性与多样性松弛策略协同作用，通过平衡信息量与代表性，显著提升样本选择质量。