[论文解读] LIMIT-BERT : Linguistic Informed Multi-Task BERT

Junru Zhou, Zhuosheng Zhang+2 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 57被引用 14

一句话总结

LIMIT-BERT 提出了一种基于语言学知识的多任务 BERT 模型，通过半监督策略和增强的掩码语言建模目标，联合预训练五项语言学任务——词性标注、短语成分分析和依存句法分析，以及跨度和依存式语义角色标注。该模型在句法分析、GLUE 和 SNLI 基准测试中达到最先进性能，通过在预训练阶段利用句法和语义结构，超越了全词掩码 BERT 的表现。

ABSTRACT

In this paper, we present a Linguistic Informed Multi-Task BERT (LIMIT-BERT) for learning language representations across multiple linguistic tasks by Multi-Task Learning (MTL). LIMIT-BERT includes five key linguistic syntax and semantics tasks: Part-Of-Speech (POS) tags, constituent and dependency syntactic parsing, span and dependency semantic role labeling (SRL). Besides, LIMIT-BERT adopts linguistics mask strategy: Syntactic and Semantic Phrase Masking which mask all of the tokens corresponding to a syntactic/semantic phrase. Different from recent Multi-Task Deep Neural Networks (MT-DNN) (Liu et al., 2019), our LIMIT-BERT is linguistically motivated and learning in a semi-supervised method which provides large amounts of linguistic-task data as same as BERT learning corpus. As a result, LIMIT-BERT not only improves linguistic tasks performance but also benefits from a regularization effect and linguistic information that leads to more general representations to help adapt to new tasks and domains. LIMIT-BERT obtains new state-of-the-art or competitive results on both span and dependency semantic parsing on Propbank benchmarks and both dependency and constituent syntactic parsing on Penn Treebank.

研究动机与目标

• 通过整合来自多种句法和语义任务的显式语言学知识，改进预训练语言表征。
• 通过半监督学习解决大规模无标签文本与小规模标准语言学数据集之间的数据不平衡问题。
• 通过在预训练过程中引入已知的句法和语义成分，改进 BERT 的掩码语言建模目标。
• 证明联合学习语言学任务可生成更具泛化能力且更强的表示，适用于下游自然语言理解任务。
• 发布一个多功能、多用途的预训练模型，适用于多种自然语言处理应用场景。

提出的方法

• 将五项语言学任务——词性标注、短语成分分析和依存句法分析，以及跨度和依存式语义角色标注——整合到统一的多任务学习框架中。
• 采用半监督学习策略：利用预训练模型对大规模无标签文本进行语言学标注预测，将这些伪标签与标准数据集结合。
• 通过将已知的句法和语义成分作为条件，改进 BERT 的掩码语言建模目标，从而增强上下文表征学习能力。
• 使用多任务损失函数，将各项任务的损失相加，实现对多样化语言信号的端到端训练。
• 采用共享的 Transformer 编码器，配合每项语言学任务的特定头结构，实现参数共享与表征迁移。
• 利用先前模型（如 Zhou et al., 2020）的强性能，生成高质量伪标签用于无标签数据，确保半监督信号的可靠性。

实验结果

研究问题

• RQ1 句法与语义的联合多任务学习是否能超越标准掩码语言建模，进一步提升预训练语言表征？
• RQ2 在掩码训练目标中引入语言结构，对下游自然语言处理性能有何影响？
• RQ3 半监督数据扩展在多大程度上缓解了预训练数据与语言学任务数据集之间的数据不平衡问题？
• RQ4 同时学习多项语言学任务是否能提升在分布外和零样本自然语言理解任务上的泛化能力？
• RQ5 统一模型能否有效处理基于跨度和基于依存的句法与语义标注？

主要发现

• 在 CoNLL-2005、CoNLL-2009 和 Penn Treebank 的句法树库上，LIMIT-BERT 在依存句法分析和成分句法分析任务中均优于全词掩码 BERT。
• 该模型在 GLUE 基准测试中取得最先进结果，表明其在多样化自然语言理解任务中具备更强的泛化能力。
• LIMIT-BERT 在 SNLI 自然语言蕴含基准测试中表现优异，表明通过语言学监督增强了推理能力。
• 半监督训练策略通过使用高置信度伪标签扩展训练数据，显著提升了低资源语言学任务的性能。
• 基于句法和语义成分改进的掩码训练目标，生成了更鲁棒、更具信息量的表征。
• 发布的 LIMIT-BERT 模型作为多功能、多用途的预训练模型，适用于广泛的自然语言处理应用场景。