[论文解读] ASER: Towards Large-scale Commonsense Knowledge Acquisition via Higher-order Selectional Preference over Eventualities

Hongming Zhang, Xin Liu+5 more|arXiv (Cornell University)|Apr 5, 2021

Natural Language Processing Techniques被引用 16

一句话总结

本文提出了 ASER，一个通过在未标注文本中提取的言语事件（事件、状态、动作）上应用高阶选择性偏好构建的大规模常识知识图谱。通过建模语言图谱中的统计偏好，ASER 捕获了上下文相关的常识知识（例如，'dog barks' 比 'cat barks' 更为常见），并在 4.38 亿个事件上构建了 6.48 亿条边，通过概念化处理将覆盖范围扩展至 1500 万个概念化节点和 2.24 亿条边。

ABSTRACT

Commonsense knowledge acquisition and reasoning have long been a core artificial intelligence problem. However, in the past, there has been a lack of scalable methods to collect commonsense knowledge. In this paper, we propose to develop principles for collecting commonsense knowledge based on selectional preference. We generalize the definition of selectional preference from one-hop linguistic syntactic relations to higher-order relations over linguistic graphs. Unlike previous commonsense knowledge definition (e.g., ConceptNet), selectional preference (SP) knowledge only relies on statistical distribution over linguistic graphs, which can be efficiently and accurately acquired from the unlabeled corpus with modern tools. Following this principle, we develop a large-scale eventuality (a linguistic term covering activity, state, and event)-based knowledge graph ASER, where each eventuality is represented as a dependency graph, and the relation between them is a discourse relation defined in shallow discourse parsing. The higher-order selectional preference over collected linguistic graphs reflects various kinds of commonsense knowledge. Moreover, motivated by the observation that humans understand events by abstracting the observed events to a higher level and can thus transfer their knowledge to new events, we propose a conceptualization module to significantly boost the coverage of ASER. In total, ASER contains 648 million edges between 438 million eventualities. After conceptualization with Probase, a selectional preference based concept-instance relational knowledge base, our concept graph contains 15 million conceptualized eventualities and 224 million edges between them. Detailed analysis is provided to demonstrate its quality. All the collected data, APIs, and tools are available at https://github.com/HKUST-KnowComp/ASER.

研究动机与目标

• 通过超越人工标注或专家整理的知识库，解决常识知识获取中的可扩展性挑战。
• 通过将常识建模为概率性、上下文敏感的偏好而非绝对事实，克服固定三元组（如 ConceptNet 中的）的局限性。
• 构建一个大规模、以事件为中心的知识图谱，基于语言分布模式捕捉事件之间的因果、时间与工具关系。
• 通过 Probase 实现知识抽象与泛化，提升对未见事件的覆盖范围与可迁移性。

提出的方法

• 使用依存句法分析与短语结构句法分析从原始文本中提取语言事件（事件、状态、动作），构建事件级依存图谱。
• 通过浅层话语解析识别事件之间的话语关系（如 Cause、Result、Instrument），用于定义知识图谱中的边。
• 通过分析语言图谱中跨统计共现模式，建模高阶选择性偏好，捕捉事件对之间合理性，无需人工标注。
• 通过 Probase 实现概念化，将具体事件映射到更广泛的概念（如 'dog barks' → 'animal barks'），提升泛化能力与覆盖范围。
• 构建基于客户端-服务器架构的分布式知识图谱系统，并提供查询与 ConceptNet 格式转换的 API。
• 使用基于规则的推理（通过 AMIE+）以及内在/外在评估，验证所获取知识的质量与实用性。

Figure 1: ASER Demonstration. Eventualities are connected with weighted directed edges. Each eventuality is a dependency graph.

实验结果

研究问题

• RQ1 能否在语言图谱上利用高阶选择性偏好实现无需人工标注关系的常识知识获取规模化？
• RQ2 未标注文本中的统计模式在多大程度上能捕捉事件之间（如因果性、时间性）的合理常识关系？
• RQ3 概念化在多大程度上提升了常识知识图谱的覆盖范围与泛化能力？
• RQ4 ASER 在质量与实用性方面与现有知识库（如 ConceptNet）相比如何，特别是在推理任务中？
• RQ5 ASER 是否能通过其结构化、以事件为中心的表示，支持复杂的推理任务（如代词消解或对话系统）？

主要发现

• ASER 包含 6.48 亿条边，连接 4.38 亿个事件，完全基于未标注文本中的统计模式构建，无需人工标注关系。
• 事件 'dog barks' 在 ASER 中出现 14,998 次，而 'cat barks' 仅出现 6 次，反映出与常识一致的强烈统计偏好。
• 边 ⟨'be hungry', Cause, 'eat food'⟩ 存在于 ASER 中，而其反向边不存在，表明 ASER 能够捕捉合理的因果关系。
• 经 Probase 概念化处理后，ASER 的概念图谱扩展至 1500 万个概念化事件与 2.24 亿条边，显著提升覆盖范围。
• 外在评估显示，ASER 支持下游任务（如对话系统），性能提升归因于其以事件为中心且基于统计的结构。
• 本项目提供开源的数据、API 与工具，包括转换至 ConceptNet 格式的实用程序，支持更广泛的应用与集成。

Figure 2: Paper Road Map.