[论文解读] Learning how to Active Learn: A Deep Reinforcement Learning Approach

Meng Fang, Yuan Li+1 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Algorithms参考文献 26被引用 46

一句话总结

本文提出 PAL（基于策略的主动学习），一种基于深度强化学习的方法，可学习动态数据选择策略以实现跨语言迁移。通过将主动学习建模为马尔可夫决策过程并使用深度 Q 网络，PAL 在跨语言命名实体识别任务中优于启发式方法，即使在冷启动设置下也能实现高达 90% 的成本降低。

ABSTRACT

Active learning aims to select a small subset of data for annotation such that a classifier learned on the data is highly accurate. This is usually done using heuristic selection methods, however the effectiveness of such methods is limited and moreover, the performance of heuristics varies between datasets. To address these shortcomings, we introduce a novel formulation by reframing the active learning as a reinforcement learning problem and explicitly learning a data selection policy, where the policy takes the role of the active learning heuristic. Importantly, our method allows the selection policy learned using simulation on one language to be transferred to other languages. We demonstrate our method using cross-lingual named entity recognition, observing uniform improvements over traditional active learning.

研究动机与目标

• 解决基于启发式方法的主动学习在不同数据集和语言间表现不一致的局限性。
• 开发一种动态的、基于数据的主动学习策略，通过经验学习而非依赖固定启发式规则。
• 实现从高资源语言（如英语）到低资源语言的主动学习策略迁移，降低目标语言对大规模标注数据的依赖。
• 在低资源和冷启动设置下提升性能，此时初始模型较弱且缺乏评估数据。

提出的方法

• 将主动学习形式化为强化学习问题，其中智能体学习一个策略，以决定在流式设置中是否标注每个数据实例。
• 使用深度 Q 网络（DQN）学习标注决策策略，观测信息包括句子内容、模型预测结果及预测置信度。
• 在高资源语言（如英语）上使用模拟数据训练策略，然后通过跨语言词嵌入将其迁移到低资源目标语言。
• 通过多语言嵌入对齐跨语言的输入表示，确保观测和动作的兼容性，从而实现策略迁移。
• 实现两种变体：PAL_b（从一个源语言到一个目标语言的双语策略迁移）和 PAL_m（在多个源语言上训练的多语言策略）。
• 在冷启动设置中使用静态策略（PAL_c），即在主动学习过程中不进行模型或策略更新，以测试鲁棒性。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在主动学习中学习到比传统启发式方法更有效且更具适应性的数据选择策略？
• RQ2 在一种语言上训练的主动学习策略在低资源目标语言上的成功迁移程度如何？
• RQ3 在低资源和冷启动设置下，所学策略的性能与不确定性采样和随机采样相比如何？
• RQ4 在多个源语言上进行训练（多语言训练）是否能带来比单源语言训练更好的泛化能力和性能？
• RQ5 当主动学习过程中无反馈或模型更新时，所学策略是否仍能实现高性能？

主要发现

• PAL 在所有目标语言（德语、荷兰语、西班牙语）上均优于随机采样和不确定性采样，在所有配置中均取得最高的 F1 分数。
• 在无模型更新的冷启动设置下，PAL_c 在德语上达到 70.7% 的 F1 分数，荷兰语为 69.1%，西班牙语为 63.8%，显著优于不确定性采样（54.2%、50.1%、45.1%）和随机采样（44.6%、45.2%、40.7%）。
• 多语言策略（PAL_m）整体表现最佳，德语、荷兰语和西班牙语的 F1 分数分别为 62.7%、56.3% 和 56.0%，优于 PAL_b 和基线方法。
• PAL 将标注成本降低至随机采样基线的 10%，表明在实现最先进性能的同时，标注工作量减少了 90%。
• 利用内容信息和早期策略学习使 PAL 能够在初始模型训练不佳的情况下做出更强的初始决策，而不确定性采样在初期表现较差。
• 结果表明，在高资源语言上预训练策略并将其迁移到低资源语言上非常有效，尤其在缺乏评估数据用于适应的情况下。