[论文解读] LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model

Hao Fei, Shengqiong Wu+7 more|arXiv (Cornell University)|Apr 13, 2023

Topic Modeling被引用 69

一句话总结

LasUIE 通过学习潜在、结构感知表示，通过无监督结构诱导器和结构广播器统一信息提取任务，然后进行面向任务的微调，在12个 IE 基准上实现稳定提升。

ABSTRACT

Universally modeling all typical information extraction tasks (UIE) with one generative language model (GLM) has revealed great potential by the latest study, where various IE predictions are unified into a linearized hierarchical expression under a GLM. Syntactic structure information, a type of effective feature which has been extensively utilized in IE community, should also be beneficial to UIE. In this work, we propose a novel structure-aware GLM, fully unleashing the power of syntactic knowledge for UIE. A heterogeneous structure inductor is explored to unsupervisedly induce rich heterogeneous structural representations by post-training an existing GLM. In particular, a structural broadcaster is devised to compact various latent trees into explicit high-order forests, helping to guide a better generation during decoding. We finally introduce a task-oriented structure fine-tuning mechanism, further adjusting the learned structures to most coincide with the end-task's need. Over 12 IE benchmarks across 7 tasks our system shows significant improvements over the baseline UIE system. Further in-depth analyses show that our GLM learns rich task-adaptive structural bias that greatly resolves the UIE crux, the long-range dependence issue and boundary identifying. Source codes are open at https://github.com/ChocoWu/LasUIE.

研究动机与目标

• 通过单一生成式语言模型（GLM）推动通用信息提取（IE）建模。
• 通过学习潜在的异质结构来利用句法信息，以辅助 IE。
• 开发包括无监督结构感知的后训练与面向任务的微调在内的三阶段训练流程。
• 展示在多种 IE 任务和资源设定下，使用统一的 UIE 框架实现改进。

提出的方法

• 通过预测跨度的线性化分层表达，将所有 IE 任务转化为统一的文本生成问题。
• 引入异质结构诱导器（HSI），在 GLM 编码器之上无监督地诱导成分结构和依存结构。
• 实现结构广播器（SB），将多个潜在树紧凑成显式的成分式与依存式森林，以引导解码。
• 应用面向任务的结构微调阶段，使用策略梯度将诱导的结构适应最终任务需求。
• 以 Transformer 编码-解码 GLM（如 T5）为基础，采用三阶段训练过程：预训练、无监督结构感知后训练，以及有监督任务微调。
• 在后训练阶段使用损失 L_W（语言建模）、L_D（依存句法）、L_C（成分句法）和 L_SDR（结构多样化），在微调阶段再使用 L_Task 及针对任务的结构调整。

实验结果

研究问题

• RQ1 潜在的、联合学习的成分结构和依存结构是否能比使用外部句法树的 UIE 提高？
• RQ2 两种异质结构如何在边界检测和长程依赖方面相互补充以改进 IE？
• RQ3 自动诱导的潜在结构是否比注入外部解析树更有效地用于 UIE？
• RQ4 面向任务的结构化微调是否进一步提升跨任务和数据情景下的 UIE 性能？

主要发现

• LasUIE 在完全监督和低资源设置下，始终优于基线 UIE 和其他 SOTA 模型，覆盖 12 个 IE 基准。
• 整合两种异质结构（成分与依存）带来互补提升，成分有助于边界检测，依存有助于长程依赖。
• 带 SB 和 SDR 的潜在结构学习优于外部句法注入，展现对嘈杂解析树的鲁棒性。
• 通过策略梯度的结构微调进一步提升端任务性能，消融实验显示在没有 SB 或 SDR 时显著下降。
• 低资源迁移在结构信息化的 GLM 上尤其受益，特别是使用统一 IE 建模时。