[论文解读] GeoSQA: A Benchmark for Scenario-based Question Answering in the Geography Domain at High School Level

Zixian Huang, Yulin Shen+6 more|arXiv (Cornell University)|Aug 20, 2019

Topic Modeling参考文献 22被引用 6

一句话总结

GeoSQA 引入了一个大规模的、面向高中生的地理基准测试，包含1,981个情境化问题和4,110道多项选择题，其中图表通过自然语言描述进行人工标注，以支持跨模态推理。尽管在问答、文本蕴含和阅读理解等前沿方法上进行了测试，所有模型的表现均接近随机猜测水平（准确率23–26%），凸显了在情境化地理问题中整合领域知识、常识推理与视觉-文本理解所面临的独特挑战。

ABSTRACT

Scenario-based question answering (SQA) has attracted increasing research attention. It typically requires retrieving and integrating knowledge from multiple sources, and applying general knowledge to a specific case described by a scenario. SQA widely exists in the medical, geography, and legal domains---both in practice and in the exams. In this paper, we introduce the GeoSQA dataset. It consists of 1,981 scenarios and 4,110 multiple-choice questions in the geography domain at high school level, where diagrams (e.g., maps, charts) have been manually annotated with natural language descriptions to benefit NLP research. Benchmark results on a variety of state-of-the-art methods for question answering, textual entailment, and reading comprehension demonstrate the unique challenges presented by SQA for future research.

研究动机与目标

• 为高中地理领域中情境化问答（SQA）缺乏大规模、高质量数据集的问题提供解决方案。
• 提供一个包含文本情境和图表的基准测试，对图表进行自然语言描述标注，以支持多模态自然语言处理研究。
• 评估现有自然语言处理方法（如问答、文本蕴含和阅读理解模型）在复杂、真实世界地理SQA任务上的局限性。
• 识别当前模型在知识检索、常识推理以及情境特定应用方面未能解决的关键挑战。
• 通过发布一个全面且经过标注的数据集，支持未来在视觉SQA、图表到文本生成以及多模态推理方面的研究。

提出的方法

• 从高考和模拟考试中收集了6,000个情境和13,000道问题，随后通过文本元素（情境、问题、选项）的结构匹配和余弦相似度进行去重。
• 对每个图表进行人工标注，添加自然语言描述，以支持视觉与文本双路径的SQA研究，增强跨模态理解能力。
• 评估了11种前沿方法：两种基于检索的问答模型（IR 和 PMI），四种文本蕴含模型（ESIM、DIIN、BERT NLI、BiMPM），以及一种阅读理解模型（BERT RC），所有模型均使用教科书和维基百科中的背景知识。
• 使用情境文本、问题和选项作为查询，从索引语料库（Apache Lucene）中检索相关句子，配置包括或不包括情境和图表标注信息。
• 通过检索相似度（IR）、PMI、蕴含置信度或跨度提取相似度对每个答案选项进行评分，选择得分最高的选项作为预测答案。
• 在 BERT RC 方法中，使用词袋之间的余弦相似度计算提取的答案跨度与选项文本之间的相似度。

实验结果

研究问题

• RQ1 现有自然语言处理方法（如问答、文本蕴含和阅读理解）在需要整合文本、视觉和领域特定知识的情境化地理问题上的表现如何？
• RQ2 在特定地理情境中检索并应用相关背景知识（来自教科书或维基百科）的关键挑战是什么？
• RQ3 常识推理和领域特定的地理知识在多大程度上影响SQA任务的表现，而这些因素在通用语料库中并未完全体现？
• RQ4 在多模态SQA中，包含或排除情境和图表标注信息如何影响模型性能？
• RQ5 当前模型能否有效结合视觉信息（通过图表标注）与文本推理，以解决高中水平的地理SQA问题？

主要发现

• 所有测试方法的准确率均接近随机猜测水平，准确率在23.01%至26.22%之间，表明当前自然语言处理模型在地理SQA任务中存在显著局限性。
• IR 和 PMI 方法表现最佳（分别在维基百科上达到26.22%和25.19%的准确率），但在某些配置下仍低于随机基线（25%）。
• 在文本蕴含模型中引入情境文本（如 ESIM w/ scenario）会降低性能，表明上下文整合过程中存在干扰或错位问题。
• BERT RC 整体表现最差（含情境时为23.66%，不含情境时为23.01%），表明基于跨度的阅读理解方法不适用于需要超越篇章检索的推理任务。
• 所有方法表现欠佳，凸显了将通用知识应用于特定情境的困难，尤其是在需要常识或领域特定地理知识时。
• 该数据集表明，当前模型在跨模态推理、知识应用和情境特定推理方面存在困难，强调了在SQA任务中需要开发新型模型架构与训练范式。