[论文解读] Multi-source Attention for Unsupervised Domain Adaptation

Xia Cui, Danushka Bollegala|arXiv (Cornell University)|Apr 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用 5

一句话总结

本文提出一种多源无监督域自适应方法，通过在多个源域上学习实例特定的注意力权重，以提升目标域分类性能。通过结合自训练与伪标签法，并利用学习得到的相关性图，模型能够为每个目标实例动态选择相关源实例，从而在无需对抗训练或基于规则的标签化方法的情况下，在跨域情感分类基准上实现最先进性能。

ABSTRACT

Domain adaptation considers the problem of generalising a model learnt using data from a particular source domain to a different target domain. Often it is difficult to find a suitable single source to adapt from, and one must consider multiple sources. Using an unrelated source can result in sub-optimal performance, known as the \emph{negative transfer}. However, it is challenging to select the appropriate source(s) for classifying a given target instance in multi-source unsupervised domain adaptation (UDA). We model source-selection as an attention-learning problem, where we learn attention over sources for a given target instance. For this purpose, we first independently learn source-specific classification models, and a relatedness map between sources and target domains using pseudo-labelled target domain instances. Next, we learn attention-weights over the sources for aggregating the predictions of the source-specific models. Experimental results on cross-domain sentiment classification benchmarks show that the proposed method outperforms prior proposals in multi-source UDA.

研究动机与目标

• 解决在无单一源域对特定目标实例最优时，多源无监督域自适应中的负迁移问题。
• 克服基于枢轴点和基于实例的方法在多源设置下的局限性，其中共享枢轴点或全局实例聚合方法效果不佳。
• 开发一种方法，为每个目标实例自适应地分配对多个源域的注意力权重，实现基于相关性的动态源选择。
• 消除对基于规则的实例标签化或对抗性训练的需求，这些方法在先前方法中较为常见。
• 通过识别最相关的源实例及其贡献，为预测提供可解释的证据。

提出的方法

• 在每个源域上独立训练特定于源的分类模型。
• 使用伪标签化的目标数据，学习目标实例与源域实例之间的相关性图，以度量相似性。
• 应用自训练循环，通过伪标签法改进目标实例的预测，提升模型置信度。
• 使用可微分注意力机制，学习对源域的实例特定注意力权重，根据其与目标实例的相关性对源预测进行加权。
• 使用学习到的注意力权重聚合来自源模型的预测，生成最终的目标预测。
• 仅使用单一距离度量（sim_only）进行相关性计算，相比多距离或强化学习方法，确保了简洁性和高效性。

实验结果

研究问题

• RQ1 注意力机制是否能有效学习在多源无监督域自适应中实现动态、实例特定的源选择？
• RQ2 与对抗性方法及基于规则的伪标签方法相比，所提出方法在准确率和鲁棒性方面表现如何？
• RQ3 注意力机制在多大程度上能够识别并优先选择对给定目标实例最相关的源实例？
• RQ4 当与多源注意力结合时，自训练与伪标签流程是否能提升性能？
• RQ5 该方法是否能通过突出关键源实例及其贡献，为预测提供可解释的证据？

主要发现

• 所提方法在Chen2012基准上实现最先进性能，目标域K的测试准确率达到87.48%，优于先前的多源无监督域自适应方法。
• 注意力机制成功识别出对单个目标实例最相关的源域，域注意力得分在选择合适源时表现出高置信度。
• 对于领域B中的负面目标实例，模型将来自领域E的'严重问题。'识别为最高贡献项，得分0.16943，体现了可解释性。
• 该方法在所有阶段均表现出一致提升：基线（79.46%）、自训练（79.60%）、伪标签（79.57%）和注意力（82.96%）在领域D上的表现。
• 相关性图与注意力权重共同实现实例特定的源选择，正向目标实例更多从正向源实例中获取信息，反之亦然。
• 该方法优于基于枢轴点和基于实例的基线方法，并通过前五名源实例检索，提供了清晰且基于证据的预测解释。