[论文解读] ComQA: A Community-sourced Dataset for Complex Factoid Question Answering with Paraphrase Clusters

Abdalghani Abujabal, Rishiraj Saha Roy+2 more|arXiv (Cornell University)|Sep 25, 2018

Topic Modeling参考文献 45被引用 20

一句话总结

ComQA 引入了一个大规模、由社区提供数据的语料库，包含来自 WikiAnswers 的 11,214 个真实用户问题，这些问题被划分为 4,834 个释义聚类，以捕捉词汇和句法多样性。该语料库强调涉及组合性、时间推理和比较的复杂事实性问题，揭示了当前最先进问答系统在处理多关系查询和时间约束方面的重大缺陷。

ABSTRACT

To bridge the gap between the capabilities of the state-of-the-art in factoid question answering (QA) and what users ask, we need large datasets of real user questions that capture the various question phenomena users are interested in, and the diverse ways in which these questions are formulated. We introduce ComQA, a large dataset of real user questions that exhibit different challenging aspects such as compositionality, temporal reasoning, and comparisons. ComQA questions come from the WikiAnswers community QA platform, which typically contains questions that are not satisfactorily answerable by existing search engine technology. Through a large crowdsourcing effort, we clean the question dataset, group questions into paraphrase clusters, and annotate clusters with their answers. ComQA contains 11,214 questions grouped into 4,834 paraphrase clusters. We detail the process of constructing ComQA, including the measures taken to ensure its high quality while making effective use of crowdsourcing. We also present an extensive analysis of the dataset and the results achieved by state-of-the-art systems on ComQA, demonstrating that our dataset can be a driver of future research on QA.

研究动机与目标

• 通过创建基于真实用户问题的数据集，弥合真实用户信息需求与现有事实性问答系统能力之间的差距。
• 通过从 WikiAnswers（一个用户提出当前搜索引擎能力无法满足的问题的平台）获取问题，克服合成数据或基于搜索日志数据集的局限性。
• 通过将问题分组为释义聚类，捕捉词汇和句法变化，提升问答系统的鲁棒性和泛化能力。
• 支持对复杂问题类型（包括组合性、时间性和比较性推理）的问答系统评估与推进。
• 使用维基百科实体 URL 和标准化的归一化方法（TIMEX3、国际单位制）提供标准答案，以支持系统评估的一致性。

提出的方法

• 从 WikiAnswers 社区问答平台收集 11,214 个真实用户问题，这些问题是现有搜索引擎难以令人满意回答的。
• 通过大规模众包方式清洗并聚类问题，形成 4,834 个释义聚类，在保留词汇和句法多样性的同时去除噪声。
• 通过众包方式为每个释义聚类标注标准答案，主要使用维基百科实体 URL 表示以实体为中心的答案。
• 使用 TIMEX3 和国际单位制对时间性和可度量答案进行归一化，以确保系统间的一致性和可比性。
• 避免将答案与特定知识库或语料库绑定，使研究人员能够创新性地结合多种数据源进行回答。
• 设计数据集以反映现实世界问题现象，如组合性、时间推理、比较以及无法回答的问题。

实验结果

研究问题

• RQ1 来自社区问答平台的真实用户问题在复杂性和语言变异性方面，与合成数据或日志数据集有何不同？
• RQ2 当前最先进问答系统在处理涉及组合性、时间约束和比较的复杂事实性问题时，其能力达到何种程度？
• RQ3 现有问答系统在面对来自社区来源语料库的释义化、现实世界问题时，主要的失败模式是什么？
• RQ4 当前问答系统在识别和推理问题中涉及的多关系、时间范围和顺序约束方面，效果如何？
• RQ5 使用释义聚类是否能提升问答模型在相同信息需求的多种语言表达形式下的鲁棒性和泛化能力？

主要发现

• 最先进问答系统（包括 QUINT 和 AQQU）分别在 58.8% 和 57.8% 的 ComQA 问题上失败，表明在处理复杂推理方面存在显著差距。
• 组合性是主要的失败原因：QUINT 失败的 43% 和 AQQU 失败的 43% 是由于无法处理涉及多个实体和谓词的多关系查询。
• 时间推理构成重大挑战：AQQU 失败的 22% 和 QUINT 失败的 19% 是由于遗漏或误解时间约束，包括隐含的时间约束（如“在越南战争期间”）。
• 比较类问题处理不佳：QUINT 失败的 31% 和 AQQU 失败的 26% 是由于错误或缺失的排序逻辑（例如，“首先”、“最大”）以及未能识别正确的排序属性。
• 命名实体识别错误导致 11% 的 QUINT 失败和 9% 的 AQQU 失败，主要由于对复杂或非标准命名实体（如“墨西哥革命”）的漏检。
• 尽管精确率较低（例如 QUINT 为 18.7%），但召回率较高（38.4%），表明系统通常返回的是约束不足的解释而非正确答案，凸显了推理复杂性上的根本性不匹配。