[论文解读] Paragraph-level Commonsense Transformers with Recurrent Memory

Saadia Gabriel, Chandra Bhagavatula+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling被引用 7

一句话总结

本文提出 PARA-COMET，一种具有话语意识的变换器模型，通过使用循环记忆整合段落级上下文，为叙事文本生成连贯的常识推理。该模型通过使用 COMET 和 ATOMIC 中的句子级推理进行远程监督进行训练，在推理的连贯性和新颖性方面表现更优，与 COMET 相比，矛盾推理减少了 5.57 个百分点，同时 BLEU 分数更高，人工评估表现更佳。

ABSTRACT

Human understanding of narrative texts requires making commonsense inferences beyond what is stated explicitly in the text. A recent model, COMET, can generate such implicit commonsense inferences along several dimensions such as pre- and post-conditions, motivations, and mental states of the participants. However, COMET was trained on commonsense inferences of short phrases, and is therefore discourse-agnostic. When presented with each sentence of a multi-sentence narrative, it might generate inferences that are inconsistent with the rest of the narrative. We present the task of discourse-aware commonsense inference. Given a sentence within a narrative, the goal is to generate commonsense inferences along predefined dimensions, while maintaining coherence with the rest of the narrative. Such large-scale paragraph-level annotation is hard to get and costly, so we use available sentence-level annotations to efficiently and automatically construct a distantly supervised corpus. Using this corpus, we train PARA-COMET, a discourse-aware model that incorporates paragraph-level information to generate coherent commonsense inferences from narratives. PARA-COMET captures both semantic knowledge pertaining to prior world knowledge, and episodic knowledge involving how current events relate to prior and future events in a narrative. Our results show that PARA-COMET outperforms the sentence-level baselines, particularly in generating inferences that are both coherent and novel.

研究动机与目标

• 为了解决 COMET 等话语无感知常识模型的局限性，这些模型在孤立状态下生成推理，未考虑叙事上下文。
• 开发一种可扩展的段落级常识推理方法，无需昂贵的人工标注。
• 通过使用循环记忆整合叙事结构中的情景知识，提升生成推理的连贯性和合理性。
• 使模型能够生成既新颖又与完整叙事上下文一致的推理。

提出的方法

• PARA-COMET 是一种基于变换器的序列到序列模型，其在由 COMET 和 ATOMIC 中的句子级推理构建的远程监督语料上进行微调。
• 该模型使用循环记忆机制，对叙事中事件之间的情景知识进行编码和保持，从而能够追踪时间与因果依赖关系。
• 通过将句子级推理与叙事上下文对齐，应用远程监督，为段落级连贯性提供弱监督信号。
• 引入一种连贯性度量，基于候选推理在完整叙事上下文中的可能性对其进行评分，从而提升对合理推理的筛选能力。
• 模型使用 GPT 和 GPT-2 架构进行训练，其中 GPT 表现更优，因其在叙事文本上的预训练优势。
• 采用两阶段训练流程：首先在远程监督数据上微调基础模型，然后使用基于连贯性的损失函数进一步优化，以增强叙事一致性。

实验结果

研究问题

• RQ1 基于变换器的模型能否生成既与完整叙事连贯又相较于现有知识库更具新颖性的常识推理？
• RQ2 使用句子级推理进行远程监督，在无需人工标注的情况下，能否有效实现段落级话语意识？
• RQ3 引入循环记忆在多大程度上提升了模型在事件间保持叙事连贯性方面的能力？
• RQ4 不同预训练架构（GPT 与 GPT-2）在叙事上下文中对生成推理的质量和连贯性有何影响？
• RQ5 即使在最先进的话语意识模型中，仍存在哪些类型的推理错误？这些错误与话语无感知模型中的错误有何不同？

主要发现

• PARA-COMET 在自动指标上优于话语无感知基线模型，BLEU-1 最高提升 3.33 分，BLEU-2 最高提升 2.70 分。
• 模型将矛盾推理的占比从 COMET 的 46.15% 降低至 40.58%，表明其与叙事上下文的连贯性显著提升。
• PARA-COMET 生成了更多新颖的推理，其中相当一部分未出现在原始 ATOMIC 知识图谱中，表明其在检索之外实现了有效泛化。
• 在个人叙事的人工评估中，49.55% 的推理被标记为真实，20.72% 为合理，优于 COMET 在类似指标上的 20.72% 和 27.03%。
• 该模型在避免离题和时间上不恰当的推理方面更为有效，尤其在复杂且社会关系微妙的叙事中表现更优。
• 尽管有所改进，仍有 23% 的推理不成立，44% 与段落级上下文矛盾，凸显了话语意识常识推理的持续挑战。