[论文解读] ASER: A Large-scale Eventuality Knowledge Graph

Hongming Zhang, Xin Liu+3 more|arXiv (Cornell University)|May 1, 2019

Topic Modeling参考文献 51被引用 5

一句话总结

本文提出了 ASER，一个大规模的事件知识图谱，包含 19400 万条唯一事件，以及 6400 万条关系，这些信息是从超过 110 亿个词元的文本中，通过依存句法分析和神经自助法提取得到的。实验表明，ASER 在下游任务（如 Winograd Schema Challenge）中表现优异，能够显著提升预训练模型（如 BERT 和 GPT-2）的性能，其中 BERT+WSCR+ASER 达到 72.5% 的准确率。

ABSTRACT

Understanding human's language requires complex world knowledge. However, existing large-scale knowledge graphs mainly focus on knowledge about entities while ignoring knowledge about activities, states, or events, which are used to describe how entities or things act in the real world. To fill this gap, we develop ASER (activities, states, events, and their relations), a large-scale eventuality knowledge graph extracted from more than 11-billion-token unstructured textual data. ASER contains 15 relation types belonging to five categories, 194-million unique eventualities, and 64-million unique edges among them. Both intrinsic and extrinsic evaluations demonstrate the quality and effectiveness of ASER.

研究动机与目标

• 为解决现有知识图谱中对活动、状态和事件（即事件）关注不足的问题，这些事件对于常识推理至关重要，但在现有知识图谱中代表性不足。
• 开发一种可扩展的、自动化的从非结构化文本中提取以事件为中心的知识的方法，避免依赖人工标注或复杂的语义角色标注。
• 构建一个能够捕捉事件之间多样化关系类型（包括因果、时间、条件等关系）的知识图谱，使用基于语言学的模式。
• 通过内在评估和在下游 NLP 任务（如 Winograd Schema Challenge）中的外在应用，评估 ASER 的质量和实用性。
• 证明 ASER 可在不修改模型架构的前提下，提升最先进语言模型在常识推理任务中的表现，从而证明其实际价值。

提出的方法

• 使用依存句法分析从非结构化文本中提取事件，将每个句法依存子图视为一个基本的事件单元。
• 利用宾夕法尼亚话语树库（PDTB）中无歧义的话语连接词作为种子，建立事件之间的关系，捕捉如因果、对比和条件等关系。
• 应用神经自助法框架，通过从文本中识别新的关系模式，迭代扩展关系集合，从而提升覆盖范围和泛化能力。
• 将每个事件表示为图中的节点，关系表示为加权的有向边，共包含 15 种关系类型，划分为五类（如因果、时间、对比等）。
• 将生成的 ASER 图作为外部知识源，用于增强下游推理任务中的预训练语言模型（如 BERT 和 GPT-2）。
• 通过字符串匹配和知识注入，将 ASER 的事实与输入上下文对齐，应用于 Winograd Schema Challenge 等任务，而无需微调模型架构。

实验结果

研究问题

• RQ1 能否仅通过句法模式和最少的语言学标注，从非结构化文本中自动构建大规模、以事件为中心的知识图谱？
• RQ2 与现有知识库相比，ASER 在捕捉活动、状态和事件之间多样化、基于语言学的关系方面有多高效？
• RQ3 ASER 在多大程度上能够提升预训练语言模型在常识推理任务（如 Winograd Schema Challenge）中的性能？
• RQ4 当 ASER 作为外部知识源使用且不进行模型微调时，其对下游 NLP 任务的影响如何？
• RQ5 在内在和外在评估指标下，ASER 的覆盖范围和质量与现有知识库相比如何？

主要发现

• ASER 包含 19400 万个唯一事件和 6400 万条边，涵盖 15 种关系类型，分为五类，是目前已知最大的以事件为中心的知识图谱。
• 内在评估证实了所提取关系的质量，神经自助法在关系检测中表现出高精确度。
• 外在评估显示，ASER 显著提升了 Winograd Schema Challenge 任务的性能：BERT+WSCR+ASER 达到 72.5% 的准确率，优于 BERT+WSCR（71.4%）和 BERT（64.5%）。
• 即使仅使用简单的字符串匹配，ASER 也能提升基线模型性能，证明其在无需架构修改的情况下，对常识推理具有实际应用价值。
• 在 BERT+WSCR 的基础上加入 ASER 知识，准确率从 71.4% 提升至 72.5%，证明 ASER 提供了预训练阶段语言模型无法学到的、有价值且可操作的知识。
• 模型性能的提升在不同设置下均保持一致，表明 ASER 的知识具有鲁棒性和可泛化性，适用于多种 NLP 任务。