[论文解读] Autoregressive Structured Prediction with Language Models

Tianyu Liu, Yuchen Jiang+3 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling被引用 6

一句话总结

本文提出自回归结构预测（ASP），一种通过生成结构构建动作序列而非扁平化字符串来建模结构化预测任务（如命名实体识别、关系抽取和共指消解）的框架。通过显式建模跨度创建、括号配对和标注等动作中的依赖关系，ASP 在不使用特定任务特征或数据增强的情况下，利用预训练语言模型在三项任务上均取得了最先进性能。

ABSTRACT

Recent years have seen a paradigm shift in NLP towards using pretrained language models ({PLM}) for a wide range of tasks. However, there are many difficult design decisions to represent structures (e.g. tagged text, coreference chains) in a way such that they can be captured by PLMs. Prior work on structured prediction with PLMs typically flattens the structured output into a sequence, which limits the quality of structural information being learned and leads to inferior performance compared to classic discriminative models. In this work, we describe an approach to model structures as sequences of actions in an autoregressive manner with PLMs, allowing in-structure dependencies to be learned without any loss. Our approach achieves the new state-of-the-art on all the structured prediction tasks we looked at, namely, named entity recognition, end-to-end relation extraction, and coreference resolution.

研究动机与目标

• 解决将结构化输出扁平化为字符串所带来的局限性，因为这会掩盖语言模型结构化预测中的内部结构依赖关系。
• 提升高度结构化的 NLP 任务（如共指消解和端到端关系抽取）的性能，这些任务中普遍存在长距离和嵌套依赖关系。
• 开发一种与预训练语言模型兼容的框架，通过一系列可解释的动作显式建模结构约束和依赖关系。
• 在不使用数据增强或特定任务特征工程的情况下，实现在命名实体识别、端到端关系抽取和共指消解任务上的最先进性能。

提出的方法

• 将目标结构表示为动作序列，其中每个动作是一个三元组 ⟨an, bn, zn⟩，包含结构构建动作、括号配对动作和跨度标注动作。
• 使用结构构建动作（如 [∗（左括号）、]（右括号）和 copy）从输入标记构建跨度，使模型能够逐步构建复杂且嵌套的结构。
• 采用括号配对动作 Bn = {m | m < n ∧ am = [∗} 来匹配左右括号，确保句法结构的合法性并减少搜索空间。
• 引入跨度标注动作 Zn = {m | m < n ∧ am = ]} × L 来标注跨度及其之间的关系，使模型能够基于先前构建的跨度预测标签。
• 利用预训练的条件语言模型（如 T5）自回归地预测动作序列，从而利用强大的上下文表示能力。
• 采用贪婪解码生成动作序列，未来工作可进一步通过束搜索或非自回归解码进行改进。

实验结果

研究问题

• RQ1 将结构化预测建模为一系列可解释的、结构构建动作，是否能相比将结构扁平化为字符串的方式提升性能？
• RQ2 通过动作显式建模结构内部依赖关系，对共指消解等存在长距离或嵌套依赖关系的任务性能有何影响？
• RQ3 基于预训练语言模型的统一框架在不使用特定任务特征或数据增强的情况下，能在多大程度上在多样化结构化预测任务上实现最先进性能？
• RQ4 自回归动作生成过程与判别式模型相比，在捕捉复杂结构约束方面表现如何？

主要发现

• 在 ACE-05 联合实体与关系抽取任务上，ASP 取得了新最先进结果：使用 T5-base 模型时，实体的测试 F1 得分为 91.3，关系的测试 F1 得分为 72.7。
• 在 CoNLL-12 共指消解基准上，ASP 使用 FLAN-T5-XXL 模型实现了平均 F1 得分为 82.5，相比之前最先进方法高出 1.5 F1 分。
• ASP 显著优于使用相同预训练语言模型主干的判别式模型，证明了显式结构建模相比黑箱预测的优势。
• 该框架在三项任务——命名实体识别、端到端关系抽取和共指消解——上均取得了优异表现，且无需数据增强或特定任务特征工程。