[论文解读] Unsupervised Domain Adaptation with Random Walks on Target Labelings

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|Jun 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 9被引用 11

一句话总结

本文提出RWA，一种简单而有效的无监督域自适应方法，通过在目标标签上进行随机游走以识别稳定预测。通过利用源自泛化界的一般化稳定性，并对访问过的标签进行多数投票，RWA在图像和文本域自适应任务中实现了最先进性能，尤其在使用预训练深度特征时无需访问源数据或进行特征变换。

ABSTRACT

Unsupervised Domain Adaptation (DA) is used to automatize the task of labeling data: an unlabeled dataset (target) is annotated using a labeled dataset (source) from a related domain. We cast domain adaptation as the problem of finding stable labels for target examples. A new definition of label stability is proposed, motivated by a generalization error bound for large margin linear classifiers: a target labeling is stable when, with high probability, a classifier trained on a random subsample of the target with that labeling yields the same labeling. We find stable labelings using a random walk on a directed graph with transition probabilities based on labeling stability. The majority vote of those labelings visited by the walk yields a stable label for each target example. The resulting domain adaptation algorithm is strikingly easy to implement and apply: It does not rely on data transformations, which are in general computational prohibitive in the presence of many input features, and does not need to access the source data, which is advantageous when data sharing is restricted. By acting on the original feature space, our method is able to take full advantage of deep features from external pre-trained neural networks, as demonstrated by the results of our experiments.

研究动机与目标

• 通过寻找在子样本中泛化能力良好的稳定目标标签，解决无监督域自适应问题。
• 消除对数据变换和源数据访问的依赖，这些在实践中计算成本高昂且受限。
• 在无需端到端微调的情况下，有效利用预训练深度神经网络特征进行域自适应。
• 开发一种直接在原始特征空间中运行的方法，以保留深度特征的表征能力。

提出的方法

• 将标签稳定性定义为：在给定标签的随机子样本目标数据上训练的分类器，产生相同标签的概率。
• 构建一个马尔可夫链，其中状态为标签，转移概率基于标签稳定性。
• 从源分类器的标签出发执行随机游走，以探索并收敛到更稳定的标签。
• 将游走过程中访问过的标签的多数投票结果作为每个目标样本的最终预测。
• 通过在原始特征空间中操作，避免特征变换或迭代优化，确保可扩展性和效率。
• 直接将预训练网络的深度特征整合到标签过程中，实现高性能自适应。

实验结果

研究问题

• RQ1 能否通过泛化界定义的标签稳定性，在无需访问源数据或数据变换的情况下引导域自适应？
• RQ2 如何利用标签上的随机游走识别未标记目标数据的鲁棒且一致的预测？
• RQ3 在无需微调的情况下，预训练深度特征在无监督域自适应中能被多大程度上有效利用？
• RQ4 基于随机游走多数投票的简单非迭代方法是否优于复杂的基于深度学习的域自适应模型？

主要发现

• RWA在图像和文本域自适应基准上实现了最先进性能，优于浅层方法和复杂的深度学习模型。
• 在Office-Home和Amazon数据集上，当使用深度特征时，RWA将准确率提升最高达13.5个百分点（例如，A→W任务中从77.1%提升至90.6%）。
• 在Cross Dataset Testbed上，RWA实现了48.5%的平均准确率，显著优于次佳方法（CORAL为43.9%）。
• RWA对超参数选择具有鲁棒性，在运行中表现出低方差（Amazon数据集的标准差为0.1），表明性能稳定。
• 该方法无需访问源数据或进行特征变换，但仍能达到与端到端深度学习模型相当的性能。
• 在困难的迁移任务中（如从Caltech256到ImageNet），RWA的性能尤为突出，准确率提升超过10个百分点。