[论文解读] Discrepancy-Based Active Learning for Domain Adaptation

Antoine de Mathelin, François Deheeger+2 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用 11

一句话总结

本文提出了一种基于差异性的主动学习方法，用于领域自适应，通过利用局部差异距离来提升泛化性能，聚焦于接近源域标注函数的假设。通过使用雷电曼复杂度和局部差异推导泛化边界，作者设计了一种可扩展的基于K-中位数的查询算法，在大规模数据集上实现了最先进性能，涵盖图像分类和回归任务，样本量最高达100,000个。

ABSTRACT

The goal of the paper is to design active learning strategies which lead to domain adaptation under an assumption of Lipschitz functions. Building on previous work by Mansour et al. (2009) we adapt the concept of discrepancy distance between source and target distributions to restrict the maximization over the hypothesis class to a localized class of functions which are performing accurate labeling on the source domain. We derive generalization error bounds for such active learning strategies in terms of Rademacher average and localized discrepancy for general loss functions which satisfy a regularity condition. A practical K-medoids algorithm that can address the case of large data set is inferred from the theoretical bounds. Our numerical experiments show that the proposed algorithm is competitive against other state-of-the-art active learning techniques in the context of domain adaptation, in particular on large data sets of around one hundred thousand images.

研究动机与目标

• 解决机器学习中因源域模型无法泛化到目标域而产生的领域偏移挑战。
• 通过主动学习最小化目标标签查询数量，降低领域自适应中的标注成本。
• 开发一种理论基础扎实的主动学习策略，确保在领域偏移下获得更紧致的泛化边界。
• 通过设计计算高效的基于K-中位数的查询算法，实现对大规模数据集的可扩展性。
• 弥合主动学习在领域自适应中理论保证与实际性能之间的差距。

提出的方法

• 定义源域与目标域分布之间的局部差异距离，将假设类限制为在源数据上表现良好的函数。
• 利用雷电曼复杂度和局部差异，为目标风险推导泛化误差边界，适用于满足正则性条件的一般损失函数。
• 基于推导出的泛化边界制定查询策略，优先选择使已标注与未标注分布之间差异最小的目标样本。
• 提出一种实用的基于K-中位数的算法，以高效选择K个查询样本，确保已标注与未标注集合之间的分布对齐。
• 通过利用基于K-中位数的聚类方法，将该方法扩展至大规模数据集，避免昂贵的优化或对抗性训练。
• 通过将基于差异的查询机制适配至分类特定的损失函数和标签空间，将该方法扩展至分类任务。

实验结果

研究问题

• RQ1 与标准差异度量相比，局部差异距离是否能在领域偏移下的主动学习中提供更紧致的泛化边界？
• RQ2 如何将涉及雷电曼复杂度和局部差异的理论泛化边界转化为一种可扩展的实用主动学习算法？
• RQ3 所提出的基于K-中位数的查询策略在大规模领域自适应任务中，是否在标注效率和模型性能方面优于现有主动学习方法？
• RQ4 当目标分布与源分布显著不同时，该方法在不同领域偏移场景下的表现如何？
• RQ5 在非对称领域偏移设置下，查询选择策略对模型稳定性和泛化性能的影响是什么？

主要发现

• 所提出的基于K-中位数的主动学习算法在大规模数据集上表现优异，与最先进方法相比具有竞争力，包括高达100,000张图像的数据集。
• 在超导性回归任务中，K-中位数方法在低到高领域偏移实验中将平均绝对误差（MAE）降低至12.70，优于随机采样（15.33）和K-均值（14.43），在权重平衡条件下表现更优。
• 在高到低领域偏移场景中，K-中位数方法实现了9.79的MAE，显著优于随机采样（10.54）和QBC（10.65），展现出在具有挑战性的非对称偏移场景中的鲁棒性。
• 该算法在重复实验中表现出更低的标准差，表明其训练稳定性优于其他方法。
• 当目标分布呈偏斜时，K-中位数方法更倾向于选择高温度区域的样本（低域中），从而在困难的偏移设置下提升泛化性能。
• 理论分析证实，由于使用了局部差异，该方法的泛化边界比近期的主动学习方法更紧致，因为它将假设空间限制在相关函数范围内。