[论文解读] Exploring Shared Structures and Hierarchies for Multiple NLP Tasks

Junkun Chen, Kaiyu Chen+3 more|arXiv (Cornell University)|Aug 23, 2018

Topic Modeling参考文献 22被引用 14

一句话总结

本文提出一种基于强化学习的控制器，用于自动发现多任务自然语言处理中最佳共享神经架构，根据每项任务从可重用模块池中动态选择模块。该方法无需人工设计的共享方案，即可学习到分层且任务特定的结构，在文本分类和序列标注任务上实现优越性能，通过隐式建模任务间关系。

ABSTRACT

Designing shared neural architecture plays an important role in multi-task learning. The challenge is that finding an optimal sharing scheme heavily relies on the expert knowledge and is not scalable to a large number of diverse tasks. Inspired by the promising work of neural architecture search (NAS), we apply reinforcement learning to automatically find possible shared architecture for multi-task learning. Specifically, we use a controller to select from a set of shareable modules and assemble a task-specific architecture, and repeat the same procedure for other tasks. The controller is trained with reinforcement learning to maximize the expected accuracies for all tasks. We conduct extensive experiments on two types of tasks, text classification and sequence labeling, which demonstrate the benefits of our approach.

研究动机与目标

• 为解决在多任务学习（MTL）中手动设计有效共享架构所面临的挑战，该挑战耗时且易导致负迁移。
• 克服固定共享方案（如硬共享、软共享或预定义层次共享）的局限性，这些方案无法适应复杂任务关系。
• 利用强化学习自动发现适用于多样化NLP任务的最优模块组合与堆叠顺序。
• 在无须依赖人工定义的任务层次结构前提下，学习任务之间的分层结构，尤其在序列标注任务中。
• 开发一种可扩展、灵活的MTL解决方案，能够适应新数据集和任务组合，而无需重新设计架构。

提出的方法

• 控制器网络使用强化学习，从共享模块池中为每项任务采样并堆叠模块，构建任务特定的架构。
• 控制器按顺序选择模块，动作表示模块索引，并在构建出有效架构后以“停止”信号终止。
• 策略梯度方法优化控制器，以最大化所有任务的预期准确率，使用基于模型性能的可微奖励信号。
• 提出一种新颖的并行在线更新策略，通过在每个批次中并行更新所有任务的共享模块参数，显著加速训练。
• 架构搜索过程端到端可微，支持模块选择与任务特定头参数的联合优化。
• 在高维空间中可视化模块选择序列，以分析聚类模式与层次倾向性。

实验结果

研究问题

• RQ1 强化学习控制器能否在无需人工设计共享方案的前提下，自动发现适用于多个NLP任务的有效共享模块架构？
• RQ2 控制器在学习相关NLP任务（如词性标注、命名实体识别和语义角色标注）之间的有意义层次结构方面表现如何？
• RQ3 在学习到的模块选择空间中，相似任务在多大程度上聚类在一起，表明有效表示了任务相似性？
• RQ4 所提出方法在文本分类与序列标注的多任务学习中，是否显著优于固定共享方案（如硬共享或软共享）？
• RQ5 控制器能否在不重新设计架构的前提下适应新数据集和任务组合？

主要发现

• 模型成功学习到序列标注任务之间的分层结构，低层级任务（如词性标注）共享早期模块，而高层级任务（如语义角色标注）则使用更深、更专业的模块。
• 相似任务（如同一领域中的广播新闻与广播对话）在模块选择空间中紧密聚类，表明有效捕捉了任务相似性。
• 控制器通过仅选择相关模块来避免负迁移，无关任务则保持私有模块。
• 与采用固定共享方案的基线MTL模型相比，该方法在文本分类和序列标注基准上均取得更优性能。
• 并行在线更新策略显著加速训练，同时保持收敛性和性能。
• 模块选择序列的可视化结果证实，控制器在未提供人工结构的情况下，隐式学习到了逻辑清晰且与任务相关的层次结构。