[论文解读] GenericsKB: A Knowledge Base of Generic Statements

Sumithra Bhakthavatsalam, Chloe Anastasiades+1 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 19被引用 44

一句话总结

GenericsKB 是一个大型集合（3.5M+）的自然发生的一般性陈述，带有话题元数据和学习得出的置信度，以及 GenericsKB-Best（1M+ 句）通过合成的一般性陈述进行增强；它改进了 QA 解释，并且在推理任务上相较使用更大的一般性语料库可以提升性能。

ABSTRACT

We present a new resource for the NLP community, namely a large (3.5M+ sentence) knowledge base of *generic statements*, e.g., "Trees remove carbon dioxide from the atmosphere", collected from multiple corpora. This is the first large resource to contain *naturally occurring* generic sentences, as opposed to extracted or crowdsourced triples, and thus is rich in high-quality, general, semantically complete statements. All GenericsKB sentences are annotated with their topical term, surrounding context (sentences), and a (learned) confidence. We also release GenericsKB-Best (1M+ sentences), containing the best-quality generics in GenericsKB augmented with selected, synthesized generics from WordNet and ConceptNet. In tests on two existing datasets requiring multihop reasoning (OBQA and QASC), we find using GenericsKB can result in higher scores and better explanations than using a much larger corpus. This demonstrates that GenericsKB can be a useful resource for NLP applications, as well as providing data for linguistic studies of generics and their semantics. GenericsKB is available at https://allenai.org/data/genericskb.

研究动机与目标

• 提供一个用于自然语言处理和语言学的大型、自然发生的通用陈述语料库。
• 用话题元数据、 surrounding context（周边上下文）、以及学习到的置信度分数对陈述进行注释。
• 发布一个高质量子集 GenericsKB-Best，并附带来自 WordNet 和 ConceptNet 的合成一般性陈述。
• 展示 GenericsKB 在下游任务如问答和解释生成中的实用性。

提出的方法

• 从三个语料库（Waterloo、SimpleWikipedia、ARC）中收集 1.7B 条句子。
• 使用正则表达式、长度启发式和语言检测清理和过滤噪声。
• 用 27 条手写的词汇句法规则识别独立的通用陈述。
• 用在对有用性进行 crowd-annotated judgments 的 BERT 分类器对候选通用陈述进行评分。

实验结果

研究问题

• RQ1 是否能够构建一个高质量且具有上下文完整性的自然发生的通用陈述语料库？
• RQ2 与更大的通用语料库相比，GenericsKB 是否在现有的多跳推理任务中提高性能或解释质量？
• RQ3 GenericsKB 在问答和解释任务中的质量和实用性如何？

主要发现

• 最终的 GenericsKB 包含 3,433,000 条句子，带有话题元数据、上下文和置信度分数。
• GenericsKB-Best 包含 1,020,868 条通用陈述（其中 774,621 条来自 GenericsKB，246,247 条是合成的），并且附带 WordNet/ConceptNet 数据。
• 在 OpenBookQA 中，GenericsKB-Best 的问答性能更高（0.678）优于 GenericsKB（0.632）和 QASC-17M 基线（0.660）。
• GenericsKB-Best 在 QASC 的两跳解释上显著更好（0.61 对 0.44；在另一指标上为 0.79 对 0.66）。
• 注释/质量检查显示 GenericsKB-Best 的样本在有用性标准上的一致性约为 85%，表明上下文泄漏或含糊性相对较低。