[论文解读] Domain Adversarial Reinforcement Learning for Partial Domain Adaptation

Jin Chen, Xinxiao Wu+2 more|arXiv (Cornell University)|May 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 4

一句话总结

该论文提出了一种名为领域对抗强化学习（DARL）的新框架，用于部分域自适应，通过深度Q-learning自动选择共享类别中的源域实例，同时利用领域对抗学习减少领域差异。DARL通过联合优化实例选择与领域不变特征学习，实现了最先进性能，在具有挑战性的设置下，平均性能优于现有方法6.34%。

ABSTRACT

Partial domain adaptation aims to transfer knowledge from a label-rich source domain to a label-scarce target domain which relaxes the fully shared label space assumption across different domains. In this more general and practical scenario, a major challenge is how to select source instances in the shared classes across different domains for positive transfer. To address this issue, we propose a Domain Adversarial Reinforcement Learning (DARL) framework to automatically select source instances in the shared classes for circumventing negative transfer as well as to simultaneously learn transferable features between domains by reducing the domain shift. Specifically, in this framework, we employ deep Q-learning to learn policies for an agent to make selection decisions by approximating the action-value function. Moreover, domain adversarial learning is introduced to learn domain-invariant features for the selected source instances by the agent and the target instances, and also to determine rewards for the agent based on how relevant the selected source instances are to the target domain. Experiments on several benchmark datasets demonstrate that the superior performance of our DARL method over existing state of the arts for partial domain adaptation.

研究动机与目标

• 解决由于源域与目标域标签空间不匹配导致的部分域自适应中的负迁移问题。
• 自动化选择共享类别中的源域实例，以实现正向知识迁移。
• 通过端到端框架联合学习领域不变特征并优化实例选择。
• 在目标域标签少于源域的现实场景中，提升模型的泛化能力与鲁棒性。

提出的方法

• 一个深度Q-learning智能体基于从特征表示中估计的Q值，从共享类别中选择源域实例。
• 动作价值函数通过一个深度神经网络近似，输入为源域实例的特征。
• 领域对抗学习组件训练一个特征提取器和判别器，以最小化所选实例中的领域差异。
• 智能体的奖励信号来源于领域判别器区分源域与目标域的能力，从而引导选择更相关的实例。
• 通过迭代优化过程，以端到端方式联合训练深度Q网络与领域对抗网络。
• 该框架使用经验回放和$͑$-greedy探索策略以稳定训练过程。

实验结果

研究问题

• RQ1 强化学习能否在不依赖伪标签的情况下，有效实现部分域自适应中源域实例的自动化选择？
• RQ2 将深度Q-learning与领域对抗学习相结合，如何提升跨域特征的可迁移性？
• RQ3 阈值$\tau$对基于相关性的奖励函数在实例选择中的影响是什么？
• RQ4 在多样化的领域偏移场景下，DARL与最先进方法相比，在准确率与鲁棒性方面表现如何？

主要发现

• DARL在Office+Caltech-10、Office-31和Caltech-Office数据集上均达到最先进性能，在所有迁移任务中均优于现有方法。
• 在具有挑战性的Caltech-Office数据集上，DARL在平均性能上分别比SAN和IWAN高出4.65%和6.34%。
• 消融实验表明，若移除深度Q-learning，性能显著下降，验证了其在有效实例选择中的关键作用。
• 将深度Q-learning替换为基于伪标签的选择方法后，准确率降低，证明了强化学习在此任务中的优越性。
• 该框架收敛稳定，C256→W10任务的测试误差随训练迭代次数持续下降。
• 最优阈值$\tau$为AlexNet的0.3和ResNet-50的0.1，性能在高于或低于该值时均会下降。