[论文解读] Exploiting Multi-typed Treebanks for Parsing with Deep Multi-task Learning

Jiang Guo, Wanxiang Che+2 more|arXiv (Cornell University)|Jun 3, 2016

Natural Language Processing Techniques参考文献 40被引用 15

一句话总结

本文提出了一种深度多任务学习框架，通过利用多类型语料库——包括多语言通用依存关系树库和单语言异构依存关系树库——来提升依存句法分析性能。通过在多个任务间实施多层次参数共享，该模型有效实现了跨不同树库的句法知识迁移，在多种语言和数据集上均显著优于监督基线模型，包括在以CDT为源的CTB5上达到86.69%的LAS。

ABSTRACT

Various treebanks have been released for dependency parsing. Despite that treebanks may belong to different languages or have different annotation schemes, they contain syntactic knowledge that is potential to benefit each other. This paper presents an universal framework for exploiting these multi-typed treebanks to improve parsing with deep multi-task learning. We consider two kinds of treebanks as source: the multilingual universal treebanks and the monolingual heterogeneous treebanks. Multiple treebanks are trained jointly and interacted with multi-level parameter sharing. Experiments on several benchmark datasets in various languages demonstrate that our approach can make effective use of arbitrary source treebanks to improve target parsing models.

研究动机与目标

• 开发一种通用框架，以有效利用多样化的多类型树库——包括多语言通用树库和单语言异构树库——来提升依存句法分析性能。
• 解决因不同标注方案和语言导致的树库间语言不一致性问题，同时保留共享的句法知识。
• 设计自适应的参数共享策略，以应对不同类型树库在一致性与不一致性类型上的差异。
• 展示在深层神经网络中表示层参数共享在跨树库迁移学习中的可扩展性与有效性。
• 证明该框架优于依赖于手工特征或有限特征层共享的现有方法。

提出的方法

• 该框架将每个树库视为独立的句法分析任务，并通过神经网络架构中的多层次参数共享实现多任务学习整合。
• 在多个抽象层次（如词嵌入层、隐藏层和输出层）应用参数共享，以控制信息流动并实现知识迁移。
• 对于多语言树库（如通用依存关系树库），模型利用跨语言句法相似性来提升低资源语言的句法分析性能。
• 对于单语言异构树库（如UDT与CoNLL-X），模型调整共享策略以处理结构差异，例如内容-头依赖与功能-头依赖。
• 该方法避免了手工特征工程，通过端到端深度学习直接从原始树库数据中学习共享表征。
• 模型在所有源树库上联合训练，采用任务特定的输出层和共享的底层网络，实现在无需为每个任务修改网络结构的前提下实现知识迁移。

实验结果

研究问题

• RQ1 统一的深度多任务学习框架能否有效利用多语言通用树库和单语言异构树库来提升依存句法分析性能？
• RQ2 当源树库在语言、标注方案或句法结构上不同时，多层次参数共享在多大程度上能提升句法分析性能？
• RQ3 跨语言和跨标注的知识迁移在多大程度上能提升句法分析准确率，特别是在低资源设置下？
• RQ4 与依赖于规则转换、准同步语法特征或特征层参数共享的先前方法相比，该方法表现如何？
• RQ5 该框架能否在不需手工特征工程或昂贵预处理的前提下，有效扩展至更多样化的树库？

主要发现

• 当以中文依存树库（CDT）作为源时，所提出的深度多任务学习框架在中文宾州树库5.1（CTB5）上实现了86.69%的LAS，显著优于先前工作。
• 在多语言通用树库上，该模型在六种语言中，UAS最高提升1.79%，LAS最高提升2.01%，优于强监督基线模型。
• 对于单语言异构树库（UDT与CoNLL-X），MTL系统在CTB5上的LAS相比监督基线模型提升了1.44个百分点，证明了不同标注方案之间的相互促进作用。
• 该模型在多种语言和设置下均表现出一致的性能提升，包括在使用黄金POS标签时LAS提升1.04%，使用自动POS标签时提升1.59%。
• 即使源树库之间重叠度较高（如UDT与CoNLL-X中的瑞典语），该框架依然在源外测试集上保持性能提升，表现出强鲁棒性。
• 该方法无需手工特征设计即可有效扩展至多样化树库，而先前方法通常需要基于规则或特征层的调整。