[论文解读] Cardinal Virtues: Extracting Relation Cardinalities from Text

Paramita Mirza, Simon Razniewski+2 more|arXiv (Cornell University)|Apr 14, 2017

Topic Modeling参考文献 13被引用 4

一句话总结

本文提出了一个新颖的任务：利用基于条件随机场（CRF）的远程监督方法，从文本中提取关系基数，例如一个人有多少个孩子或一名运动员赢得了多少枚奖牌。该方法的精确率在3%至55%之间波动，具体取决于关系的复杂程度，并解决了语言变体、组合性以及知识库训练数据不完整等挑战。

ABSTRACT

Information extraction (IE) from text has largely focused on relations between individual entities, such as who has won which award. However, some facts are never fully mentioned, and no IE method has perfect recall. Thus, it is beneficial to also tap contents about the cardinalities of these relations, for example, how many awards someone has won. We introduce this novel problem of extracting cardinalities and discusses the specific challenges that set it apart from standard IE. We present a distant supervision method using conditional random fields. A preliminary evaluation results in precision between 3% and 55%, depending on the difficulty of relations.

研究动机与目标

• 通过引入提取关系基数（如与主体关联的子女数量或奖牌数量）这一任务，弥补信息抽取（IE）领域的空白。
• 通过捕捉标准IE方法所忽略的关系数值计数，提升知识库（KB）的完整性和准确性。
• 克服由于知识库不完整、多重基数提及的组合性以及数字表达的语言变体所导致的训练数据质量问题。
• 开发一种稳健的方法，不仅能处理基数数字，还能处理序数、否定词和量词（例如“双胞胎”、“唯一的孩子”）作为基数的代理。
• 通过使系统能够从未结构化文本中推理“最多奖牌”或“唯一的孩子”等数量概念，提升知识库维护和问答能力。

提出的方法

• 利用现有知识库（如Wikidata）中的三元组计数作为弱监督信号，通过远程监督进行训练。
• 应用条件随机场（CRF）来建模数字表达及其句法上下文的序列模式，以实现基数提取。
• 实施过滤策略以提高训练数据质量，例如仅使用高流行度实体以减少知识库不完整带来的偏差。
• 提出多步方法处理组合性：聚合多个基数数字（如“儿子+女儿”）并学习组合规则（如“子女 = 儿子 + 女儿”）。
• 引入语言转换技术，将非数字表达（如“双胞胎”、“唯一的孩子”、“从未结婚”）转换为数值基数。
• 探索从序数表达（如“他的第四个孩子”）推断下界，以在未明确给出确切数量时估计最小基数。

实验结果

研究问题

• RQ1 尽管知识库中的计数可能存在不完整或不准确，是否仍能通过远程监督可靠地从文本中提取关系基数？
• RQ2 语言变体（如序数、否定词或量词如“双胞胎”）如何影响基数提取的准确性？
• RQ3 在多提及组合（如“两个儿子和三个女儿”）的情况下，组合性在多大程度上可以被建模以提升基数推理能力？
• RQ4 通过仅筛选高流行度实体或放松远程监督中的等式约束，能否提升训练数据质量？
• RQ5 语言转换技术（如将“唯一的孩子”转换为“1个孩子”）在提升基数为0和1的召回率方面有多有效？

主要发现

• 基于CRF的方法在不同关系基数的复杂度和语言表达下，精确率范围为3%至55%。
• 人工评估显示，Wikidata中“hasChild”关系的三元组计数比文本中实际声明的数量低46%，表明知识库存在显著不完整。
• 仅包含高流行度实体的训练数据过滤显著提升了模型性能，表明数据质量优于数据量。
• 约16%的子女基数提取假阳性源于未能处理组合性提及（如“两个儿子和一个女儿”），凸显了聚合技术的必要性。
• 仅4%的配偶关系基数使用基数数字表达；相反，序数（如“第一任妻子”）或不定冠词（如“一个妻子”）更为常见，表明需要下界推断。
• 对非数字表达（如“双胞胎”→“2”，“从未结婚”→“0”）进行语言转换是提升基数为0和1的召回率的可行路径，尽管当前设置尚未完全评估其效果。