[论文解读] Do Dogs have Whiskers? A New Knowledge Base of hasPart Relations

Sumithra Bhakthavatsalam, Kyle Richardson+2 more|arXiv (Cornell University)|Jun 12, 2020

Natural Language Processing Techniques参考文献 19被引用 12

一句话总结

本文提出了 hasPartKB，一个仅从通用句子（例如 'Dogs have tails'）中提取的 hasPart 关系知识库，实现了 90% 的精确率，覆盖了常见词汇（五年级水平）的高覆盖率，并具备显著性——即捕捉到人们自然提及的关系。该知识库包含超过 50,000 个条目，对量词、修饰语有详细标注，并链接至 WordNet 和 Wikipedia，其在常见术语上的覆盖率和质量均优于现有的 ConceptNet 和 WordNet 资源。

ABSTRACT

We present a new knowledge-base of hasPart relationships, extracted from a large corpus of generic statements. Complementary to other resources available, it is the first which is all three of: accurate (90% precision), salient (covers relationships a person may mention), and has high coverage of common terms (approximated as within a 10 year old's vocabulary), as well as having several times more hasPart entries than in the popular ontologies ConceptNet and WordNet. In addition, it contains information about quantifiers, argument modifiers, and links the entities to appropriate concepts in Wikipedia and WordNet. The knowledge base is available at https://allenai.org/data/haspartkb

研究动机与目标

• 为自然语言中常见术语的 hasPart 知识库缺乏准确、显著且覆盖丰富的现状提供解决方案。
• 改进现有资源如 ConceptNet 和 WordNet，它们的 hasPart 关系数量有限（分别为 9k 和 13k），且在五年级词汇范围内的条目更少。
• 开发一种仅从通用陈述中提取 hasPart 关系的方法，确保其质量与相关性高于通用抽取流水线。
• 创建一个既精确（90% 精确率）又全面的日常概念知识库，避免无意义或过度抽象的关系。
• 提供结构化元数据，包括量词、修饰语，以及与 Wikipedia 和 WordNet 的映射，以增强其在下游自然语言处理任务中的实用性。

提出的方法

• 该方法仅从通用句子（如关于类别的陈述，例如 'Dogs have tails'）中提取 hasPart 关系，以提高信噪比。
• 在精心筛选的通用句子数据集上微调一个神经序列到序列模型，以识别并提取 hasPart 关系。
• 抽取流水线经过训练，能够区分部分-整体语言的字面用法与隐喻或模糊用法，从而减少误报。
• 关系被标注了量词（如 'some', 'all'）、参数修饰语，并链接至 WordNet 和 Wikipedia 中的对应概念。
• 使用相同的 Waterloo 语料库，将模型与强基线进行对比评估，确保在相同输入数据上的公平比较。
• 最终的知识库经过过滤和验证，以确保高精确率和显著性，排除过于抽象或语境上不连贯的关系。

实验结果

研究问题

• RQ1 仅从通用句子中提取 hasPart 关系是否能产生比通用抽取流水线更高精确率和更显著的知识库？
• RQ2 hasPartKB 与现有资源（如 ConceptNet 和 WordNet）相比，在常见术语（五年级词汇水平）上的覆盖率如何？
• RQ3 原始句子中的量词和修饰语在多大程度上提升了提取的 hasPart 关系的实用性和可解释性？
• RQ4 诸如歧义、错误配对和隐喻用法等错误类型如何影响抽取模型的可靠性？
• RQ5 专注于两种主要的整体-部分关系类型——组成部分/整体对象与物质/物体——是否能比更广泛、约束较少的方法实现更高的精确率和相关性？

主要发现

• hasPartKB 实现了 90% 的精确率，显著优于以往资源的准确性，同时保持了与人类提及关系的高度相关性。
• 该知识库包含超过 50,000 个 hasPart 关系，其中超过 15,000 个条目属于高中生词汇范围，远超 ConceptNet 和 WordNet 在常见术语中仅 1k–13k 个条目的规模。
• 当应用于同一语料库时，该抽取方法比强基线流水线多提取出 30% 的有效 hasPart 关系，证明了仅使用通用句子的优势。
• 错误分析显示，35% 的错误源于模糊的语言线索（例如将 'consist of' 误认为是整体-部分关系），30% 来自错误的跨度配对，20% 来自过度泛化或语境错误的抽取。
• 隐喻或转喻用法（例如 'internal clocks' 或 'all ages' 指代乌龟）约占 10% 的错误，凸显了在字面关系抽取中面临的关键挑战。
• 该资源包含详细的元数据，如量词、修饰语，以及与 WordNet 和 Wikipedia 的映射，显著增强了其在下游自然语言处理与推理应用中的实用性。