[论文解读] Structured Prediction as Translation between Augmented Natural Languages

Giovanni Paolini, Ben Athiwaratkun+7 more|arXiv (Cornell University)|Jan 14, 2021

Topic Modeling参考文献 69被引用 36

一句话总结

TANL 将多样化的结构化预测任务重新框架为增强自然语言之间的翻译，使单一生成模型在多个人工智能任务上实现最先进的结果，采用共享架构和输入。

ABSTRACT

We propose a new framework, Translation between Augmented Natural Languages (TANL), to solve many structured prediction language tasks including joint entity and relation extraction, nested named entity recognition, relation classification, semantic role labeling, event extraction, coreference resolution, and dialogue state tracking. Instead of tackling the problem by training task-specific discriminative classifiers, we frame it as a translation task between augmented natural languages, from which the task-relevant information can be easily extracted. Our approach can match or outperform task-specific models on all tasks, and in particular, achieves new state-of-the-art results on joint entity and relation extraction (CoNLL04, ADE, NYT, and ACE2005 datasets), relation classification (FewRel and TACRED), and semantic role labeling (CoNLL-2005 and CoNLL-2012). We accomplish this while using the same architecture and hyperparameters for all tasks and even when training a single model to solve all tasks at the same time (multi-task learning). Finally, we show that our framework can also significantly improve the performance in a low-resource regime, thanks to better use of label semantics.

研究动机与目标

• 在一个生成框架下统一多样化的结构化预测任务的动机。
• 通过使用增强自然语言来利用潜在的标签语义，而非任务特定的判别器。
• 在相同架构和超参数条件下，在多种 SP 任务上展示具有竞争力或最先进的性能。
• 通过改进的标签语义迁移，在低资源情景中展示收益。
• 探索在若干 SP 任务上的多任务与单模型训练。

提出的方法

• 设计将结构化信息编码到输入/输出文本中的增强自然语言。
• 将 SP 任务框架为文本到文本翻译，使用同一架构的预训练Transformer模型（T5-base）在各任务之间共享。
• 实现基于DP的对齐（Needleman-Wunsch）以稳健地将输出结构映射回输入标记。
• 在统一翻译范式内提供任务特定的输出格式（例如用于NER、联合实体/关系提取、SRL、指代消解、DST）。
• 通过在输入前缀数据集/任务标识符（如‘ade:’）来实现多任务学习，以在多个数据集上训练单一模型。

实验结果

研究问题

• RQ1 在没有任务特定模块的情况下，单一生成模型能否解决多种结构化预测任务？
• RQ2 通过增强自然语言对任务语义的编码是否能改善迁移，尤其是在低资源环境中？
• RQ3 在不同SP任务上的多任务训练与单任务模型在性能上有何对比？
• RQ4 生成式 TANL 方法是否能够有效支持像嵌套实体和任意关系图这样的复杂结构？

主要发现

• TANL 在联合实体与关系抽取（CoNLL04、ADE、NYT、ACE2005）上取得了最先进的结果。
• TANL 在关系分类（FewRel 与 TACRED）和语义角色标注（CoNLL-2005 与 CoNLL-2012）上取得了最先进的结果。
• 在多个任务上训练的单一模型（多任务）在所评估的数据集上表现可比甚至优于单任务模型。
• 在低资源情境下，TANL 因更好地利用标签语义而显示出显著改进。
• 生成序列的输出可能性可以作为判别评估场景中类别分数的鲁棒代理。