[论文解读] A Benchmark for Generalizable and Interpretable Temporal Question Answering over Knowledge Bases

Sumit Neelam, Udit Sharma+23 more|arXiv (Cornell University)|Jan 15, 2022

Topic Modeling被引用 7

一句话总结

本论文提出了 TempQA-WD，一个面向 Wikidata 和 Freebase 的时间知识库问答（KBQA）基准数据集，包含 SPARQL 查询和中间标注（实体/关系链接、lambda 表达式），以支持可解释且可泛化的模型。该基准揭示了现有系统在性能上的显著差距，复杂问题的 F1 分数低于 0.4，凸显了在时间推理和跨知识库泛化方面仍需改进。

ABSTRACT

Knowledge Base Question Answering (KBQA) tasks that involve complex reasoning are emerging as an important research direction. However, most existing KBQA datasets focus primarily on generic multi-hop reasoning over explicit facts, largely ignoring other reasoning types such as temporal, spatial, and taxonomic reasoning. In this paper, we present a benchmark dataset for temporal reasoning, TempQA-WD, to encourage research in extending the present approaches to target a more challenging set of complex reasoning tasks. Specifically, our benchmark is a temporal question answering dataset with the following advantages: (a) it is based on Wikidata, which is the most frequently curated, openly available knowledge base, (b) it includes intermediate sparql queries to facilitate the evaluation of semantic parsing based approaches for KBQA, and (c) it generalizes to multiple knowledge bases: Freebase and Wikidata. The TempQA-WD dataset is available at https://github.com/IBM/tempqa-wd.

研究动机与目标

• 为解决缺乏支持跨多个知识库的可解释、可泛化时间 KBQA 的数据集的问题。
• 填补现有基准中缺乏时间问题的 SPARQL 查询与中间推理标注的空白。
• 通过提供标准中间输出（实体/关系链接、lambda 表达式）来支持语义解析方法的评估。
• 推动对复杂时间推理（如“之前/之后”、“重叠”、“时间区间”等）的研究，超越简单的单跳或多跳推理。
• 通过在 Wikidata 和 Freebase 上提供并行标注，支持跨知识库的泛化能力。

提出的方法

• 将 TempQuestions 数据集适配至 Wikidata，创建了一个新基准 TempQA-WD，包含在 Wikidata 和 Freebase 上的并行标注。
• 为所有问题标注可执行的 SPARQL 查询，以支持语义解析与推理流水线的评估。
• 为部分问题提供中间标注，包括标准实体链接、关系链接以及 lambda 演算表示。
• 使用带自定义时间函数（如 before、after、interval、overlap、teenager）的类型化 lambda 演算，正式表示时间语义。
• 使用 SYGMA（一种基于流水线的 KBQA 系统）评估基线性能，并对实体链接、关系链接和 SPARQL 生成进行消融研究。
• 采用 GERBIL 进行标准 KBQA 指标（精确率、召回率、F1）评估，并按问题复杂度进行类别分析。

实验结果

研究问题

• RQ1 现有 KBQA 系统在 Wikidata 上的时间推理任务中，相较于 Freebase，泛化能力如何？
• RQ2 中间标注（如实体/关系链接、lambda 表达式）在多大程度上提升了时间 KBQA 系统的可解释性与性能？
• RQ3 在涉及多个时间事件或组合推理（如时间+空间或类别层次）的复杂问题中，时间 KBQA 的性能差距有多大？
• RQ4 实体链接与关系链接错误在多大程度上影响了时间 KBQA 系统的整体准确性？
• RQ5 在某一知识库（如 Freebase）上训练的模型，能否有效适应另一知识库（如 Wikidata）的时间推理任务？

主要发现

• 基线系统 SYGMA 在 TempQA-WD 测试集上的 F1 得分为 0.32，表明时间 KBQA 领域仍有巨大改进空间。
• 在 Freebase 上训练的 TEQUILLA 系统在 TempQA-WD 上的 F1 为 0.48，尽管存在并行标注，但在 Wikidata 上的泛化能力仍有限。
• 复杂问题的性能显著下降（F1 = 0.38），而简单问题的 F1 为 0.38（尽管后者更常见），表明需改进复杂推理的处理能力。
• 消融研究显示，使用真实实体链接（GT-EL）可使 F1 从 0.47 提升至 0.60，凸显了准确实体链接在时间问答中的关键作用。
• 当同时使用真实实体链接与真实关系链接（GT-RL）时，F1 达到 0.92，表明链接错误是当前系统的主要瓶颈。
• 在使用真实 SPARQL 的情况下，F1 达到最高值 1.0，确认核心挑战在于准确的语义解析与推理，而非答案检索。