[论文解读] Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching

Chen Qu, Feng Ji+6 more|arXiv (Cornell University)|Dec 30, 2018

Topic Modeling参考文献 42被引用 5

一句话总结

本文提出了一种新型方法——强化迁移学习（RTL），该方法利用深度强化学习有选择性地迁移高质量的源域数据，用于深度文本匹配任务。通过联合训练策略网络以选择源实例和基于深度神经网络的迁移学习模型，RTL在释义识别和自然语言推理任务上提升了性能，同时通过奖励驱动的数据选择减少了负迁移。

ABSTRACT

Deep text matching approaches have been widely studied for many applications including question answering and information retrieval systems. To deal with a domain that has insufficient labeled data, these approaches can be used in a Transfer Learning (TL) setting to leverage labeled data from a resource-rich source domain. To achieve better performance, source domain data selection is essential in this process to prevent the "negative transfer" problem. However, the emerging deep transfer models do not fit well with most existing data selection methods, because the data selection policy and the transfer learning model are not jointly trained, leading to sub-optimal training efficiency. In this paper, we propose a novel reinforced data selector to select high-quality source domain data to help the TL model. Specifically, the data selector "acts" on the source domain data to find a subset for optimization of the TL model, and the performance of the TL model can provide "rewards" in turn to update the selector. We build the reinforced data selector based on the actor-critic framework and integrate it to a DNN based transfer learning model, resulting in a Reinforced Transfer Learning (RTL) method. We perform a thorough experimental evaluation on two major tasks for text matching, namely, paraphrase identification and natural language inference. Experimental results show the proposed RTL can significantly improve the performance of the TL model. We further investigate different settings of states, rewards, and policy optimization methods to examine the robustness of our method. Last, we conduct a case study on the selected data and find our method is able to select source domain data whose Wasserstein distance is close to the target domain data. This is reasonable and intuitive as such source domain data can provide more transferability power to the model.

研究动机与目标

• 解决在目标域标注数据有限时，迁移学习在文本匹配任务中面临负迁移的挑战。
• 克服现有数据选择方法与迁移学习模型未联合优化的局限性。
• 构建一个统一框架，使数据选择与模型训练端到端联合优化，以提升迁移效率与效果。
• 探究所选源数据是否在分布上更接近目标域，从而增强可迁移性。

提出的方法

• 将数据选择过程建模为使用强化学习的序列决策问题，其中智能体选择用于训练迁移学习模型的源实例。
• 设计一种演员-评论家框架：演员（数据选择器）决定包含哪些源样本，评论家则根据最终迁移学习模型的性能评估选择质量。
• 将状态定义为当前训练批次和目标域数据的表示，以实现上下文感知的选择决策。
• 使用迁移学习模型的性能增益（如F1分数或准确率）作为稀疏奖励信号，以更新选择器的策略。
• 将强化的数据选择器集成到基于深度神经网络的迁移学习模型中，实现选择与学习的联合优化。
• 应用Wasserstein距离度量源域与目标域之间的分布相似性，验证所选数据在分布上更接近目标域。

实验结果

研究问题

• RQ1 与随机或启发式选择相比，基于强化学习的数据选择器是否能提升文本匹配任务中的迁移学习性能？
• RQ2 所提出的RTL方法是否通过选择在分布上更接近目标域的源数据，减少了负迁移？
• RQ3 RTL框架在状态表示、奖励设计和策略优化方法变化下的鲁棒性如何？
• RQ4 所选源数据在分布上是否比随机选择或丢弃的数据更接近目标域，这一结论是否可通过Wasserstein距离验证？

主要发现

• RTL方法在释义识别和自然语言推理任务上均显著提升了性能，相较于基线迁移学习方法和数据选择方法，提升具有统计显著性。
• 所选源数据（D_select）与目标域的Wasserstein距离更低（PI为4.963×10⁻⁶，NLI为3.190×10⁻⁶），而原始源数据则为5.250×10⁻⁶和3.256×10⁻⁶，表明其分布对齐性更优。
• 被丢弃的源数据（D_drop）的Wasserstein距离更高（5.320×10⁻⁶和3.290×10⁻⁶），高于原始源数据，表明其相关性较低，可能具有破坏性。
• 随机选择的数据（D_rand）表现出最小的分布偏移（5.232×10⁻⁶和3.243×10⁻⁶），可作为稳定的基线。
• 该方法在不同状态表示、奖励函数和策略优化策略下均表现出鲁棒性，持续实现性能提升。
• 案例研究证实，强化选择器学会了优先选择其词项分布与目标域相近的源实例，验证了可迁移性的直观原则。