[论文解读] Coalescing Global and Local Information for Procedural Text Understanding

Kaixin Ma, Filip Ilievski+3 more|arXiv (Cornell University)|Aug 26, 2022

Topic Modeling被引用 7

一句话总结

该论文提出CGLI，一种用于程序性文本理解的新模型，通过联合建模实体状态与结构化预测，统一了局部（实体与时间步感知）和全局（文档级）的输入表征。CGLI通过协同优化精确率与召回率，在ProPara和TRIP基准上实现了最先进性能，实现了局部与全局推理的融合。

ABSTRACT

Procedural text understanding is a challenging language reasoning task that requires models to track entity states across the development of a narrative. A complete procedural understanding solution should combine three core aspects: local and global views of the inputs, and global view of outputs. Prior methods considered a subset of these aspects, resulting in either low precision or low recall. In this paper, we propose Coalescing Global and Local Information (CGLI), a new model that builds entity- and timestep-aware input representations (local input) considering the whole context (global input), and we jointly model the entity states with a structured prediction objective (global output). Thus, CGLI simultaneously optimizes for both precision and recall. We extend CGLI with additional output layers and integrate it into a story reasoning framework. Extensive experiments on a popular procedural text understanding dataset show that our model achieves state-of-the-art results; experiments on a story reasoning benchmark show the positive impact of our model on downstream reasoning.

研究动机与目标

• 解决先前模型仅关注程序性理解的部分方面而优化精确率或召回率的局限性。
• 通过整合实体状态追踪与全局叙事一致性，弥合程序性推理与故事理解之间的差距。
• 开发一个统一框架，结合以实体为中心、时间步特定的输入表征与全局一致的输出建模。
• 通过捕捉叙事步骤中实体的先决条件与影响状态，实现可解释的故事理解。
• 通过在基准数据集上的广泛评估，证明CGLI在下游故事推理任务中的有效性。

提出的方法

• 通过为每个句子编码唯一的时序ID，构建实体与时间步感知的输入表征，实现每个实体与步骤的局部上下文建模。
• 集成跨度抽取层以识别实体影响状态的位置提及，提供精确的跨度级预测。
• 采用CRF层对所有实体与步骤的动作序列进行联合建模，确保输出预测的全局一致性。
• 将跨度抽取层与CRF层的输出相结合，生成先决条件与影响状态的最终预测。
• 扩展CGLI以增加额外输出头，并将其集成到故事推理框架中，以支持对比性故事理解。
• 利用预训练语言模型（如BERT）作为上下文编码主干网络，并通过时间步特定的位置嵌入进行增强。

实验结果

研究问题

• RQ1 通过整合输入与输出的局部与全局视图，模型是否能够同时优化程序性文本理解中的高精确率与高召回率？
• RQ2 将实体与时间步特定的输入表征与全局输出建模相结合，如何提升叙事步骤间推理的一致性？
• RQ3 CGLI在ProPara与TRIP等程序性理解基准上的表现相比现有方法提升了多少？
• RQ4 CGLI是否能有效集成到故事推理框架中，以识别冲突句子并判断故事的合理性？
• RQ5 各组件（如跨度抽取、CRF、时间步编码）对模型整体性能的贡献如何？

主要发现

• CGLI在ProPara基准上实现了最先进结果，在联合建模各步骤中实体状态的同时，显著提升了精确率与召回率。
• 在TRIP基准上，CGLI显著改善了故事理解性能，能够准确识别不合理故事中的冲突句子。
• 消融实验确认，局部输入表征（实体与时间步感知）与全局输出建模（结构化预测）对最优性能均至关重要。
• 将CGLI集成到故事推理框架中，可通过捕捉叙事过程中实体的先决条件与影响状态，实现可解释的推理。
• 该模型展现出鲁棒性与泛化能力，在多种评估设置与下游任务中均保持一致的性能提升。
• 使用跨度抽取进行位置预测，以及基于CRF的联合动作建模，显著提升了状态转移预测的准确性。