[论文解读] Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields

Jonas Pfeiffer, Edwin Simpson+1 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 50被引用 4

一句话总结

该论文提出神经因子条件随机场（CRFs）以显式建模低资源多任务序列标注中的任务间依赖关系，其性能优于单任务和标准多任务学习设置。通过将深度神经网络与捕捉跨任务标签相关性的动态CRFs相结合——尤其是利用银色词性标签作为辅助任务——该方法在低资源环境下实现了显著的性能提升，尤其在罕见或重叠跨度的标注任务中表现突出。

ABSTRACT

We compare different models for low resource multi-task sequence tagging that leverage dependencies between label sequences for different tasks. Our analysis is aimed at datasets where each example has labels for multiple tasks. Current approaches use either a separate model for each task or standard multi-task learning to learn shared feature representations. However, these approaches ignore correlations between label sequences, which can provide important information in settings with small training datasets. To analyze which scenarios can profit from modeling dependencies between labels in different tasks, we revisit dynamic conditional random fields (CRFs) and combine them with deep neural networks. We compare single-task, multi-task and dynamic CRF setups for three diverse datasets at both sentence and document levels in English and German low resource scenarios. We show that including silver labels from pretrained part-of-speech taggers as auxiliary tasks can improve performance on downstream tasks. We find that especially in low-resource scenarios, the explicit modeling of inter-dependencies between task predictions outperforms single-task as well as standard multi-task models.

研究动机与目标

• 解决因忽略任务间标签依赖关系而导致的低资源多任务序列标注性能下降问题。
• 探究显式建模不同任务标签序列之间依赖关系是否能提升低资源环境下的性能表现。
• 评估使用预训练模型生成的银色词性标签作为辅助任务在多任务序列标注中的有效性。
• 在英语和德语数据集的多种低资源场景下，对比单任务、标准多任务和基于动态CRF的模型表现。
• 提供一个实用且可复现的多任务序列标注框架，以提升数据稀缺环境下的泛化能力。

提出的方法

• 提出一种神经因子CRF模型，将标准线性链CRF扩展至联合建模多个任务的标签序列，从而实现对任务特异性标签之间依赖关系的显式建模。
• 将深度神经网络（DNNs）与因子CRF结合，支持特征表示与任务间标签依赖关系的端到端联合训练。
• 采用加权因子CRF（WFac）架构，学习一个联合概率矩阵C以编码任务特异性标签相关性，包括正向与负向依赖关系。
• 利用预训练的词性标注器生成低成本的银色标签作为辅助任务，从而在无需人工标注的情况下提升下游任务性能。
• 采用多头架构，包含共享的DNN编码器和任务特异性CRF层，并与所提出的因子CRF设置进行对比。
• 在英语和德语的三个多样化数据集（Streusle、FAMULUS、Malware）上开展广泛实验，涵盖句子级与文档级任务，且在低资源条件下进行评估。

实验结果

研究问题

• RQ1 显式建模任务间标签依赖关系是否能提升低资源多任务序列标注的性能？
• RQ2 在低资源环境下，神经因子CRF相较于单任务和标准多任务学习设置的性能表现如何？
• RQ3 来自预训练模型的银色词性标签在多任务序列标注中在多大程度上可作为有效的辅助任务？
• RQ4 在哪些场景下——尤其是针对罕见或重叠跨度的任务——建模任务间依赖关系能带来最大的性能增益？
• RQ5 与标准多任务学习相比，显式依赖建模是否能减少任务间的干扰？

主要发现

• 加权因子CRF（WFac）模型在低资源环境下优于单任务和标准多任务学习模型，尤其在Streusle数据集中MWE和SSC等罕见或重叠跨度的任务上表现更优。
• 通过联合概率矩阵C显式建模标签依赖关系，使模型能够降低不合理的标签组合概率，同时提升合理组合的概率，从而提高预测准确性。
• 当任务间高度互赖时，性能增益最为显著，例如在Streusle数据集中POS与MWE任务之间，模型学习到了特定标签对之间的强正向与负向相关性。
• 使用银色词性标签作为辅助任务可显著提升目标任务的性能，即使辅助任务自身的性能下降，仍能通过传递有用的依赖信号实现性能提升。
• 标准多任务学习常导致干扰现象，即某些任务性能下降，尽管其他任务有所提升，凸显了仅依赖共享表示的局限性。
• 因子CRF方法在数据集创建的早期阶段尤为有益，可通过提供可靠的标签建议来指导标注工作，从而提升标注速度与标注者间的一致性。