[论文解读] Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval

Akari Asai, Eunsol Choi|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 34被引用 8

一句话总结

本文研究了信息型问答（QA）中的挑战，识别出段落检索和可回答性预测是Natural Questions和TyDi QA数据集上模型性能的两大主要瓶颈。通过受控实验和对六种语言中800个不可回答示例的手动标注，作者发现：当提供黄金段落和可回答性标签时，最先进模型的表现优于人类标注者，但在检测不可回答性方面仍表现不佳——尤其受数据集特异性和语言特征的影响，凸显了在真实世界QA系统中数据集设计与模型开发方面存在的关键差距。

ABSTRACT

Recent pretrained language models "solved" many reading comprehension benchmarks, where questions are written with access to the evidence document. However, datasets containing information-seeking queries where evidence documents are provided after the queries are written independently remain challenging. We analyze why answering information-seeking queries is more challenging and where their prevalent unanswerabilities arise, on Natural Questions and TyDi QA. Our controlled experiments suggest two headrooms -- paragraph selection and answerability prediction, i.e. whether the paired evidence document contains the answer to the query or not. When provided with a gold paragraph and knowing when to abstain from answering, existing models easily outperform a human annotator. However, predicting answerability itself remains challenging. We manually annotate 800 unanswerable examples across six languages on what makes them challenging to answer. With this new data, we conduct per-category answerability prediction, revealing issues in the current dataset collection as well as task formulation. Together, our study points to avenues for future research in information-seeking question answering, both for dataset creation and model development.

研究动机与目标

• 识别信息型QA数据集（如Natural Questions和TyDi QA）中不可回答性的根本原因。
• 量化在当前最先进模型之外，段落选择与可回答性预测方面仍存在的性能提升空间。
• 通过分析替代知识源并探索超越跨度抽取的生成式答案，提升答案覆盖度。
• 评估可回答性预测在多种语言和问题类别中的有效性，揭示数据集特异性和语言偏差。
• 通过识别真实世界QA系统中可操作的改进措施，为未来数据集构建与模型开发提供指导。

提出的方法

• 在Natural Questions和TyDi QA上，使用四种不同QA模型进行受控实验，比较在提供黄金段落和可回答性标签时的性能表现。
• 对六种语言（英语、德语、西班牙语、日语、韩语、俄语）中的800个不可回答问题进行详细标注，分类不可回答的原因。
• 将不可回答问题划分为六类不同类别（如模糊性、信息缺失、事实错误等），以分析模型的失败模式。
• 收集不可回答问题的替代答案和知识源，以评估答案覆盖度的潜在提升。
• 针对各类问题进行可回答性预测，评估模型在不同类型不可回答性上的表现。
• 使用仅问题基线、最先进QA模型和人类一致度，评估可回答性预测效果，并在包括SQuAD 2.0在内的多个数据集上进行比较。

实验结果

研究问题

• RQ1 信息型QA数据集（如Natural Questions和TyDi QA）中不可回答性的主要来源是什么？
• RQ2 QA模型性能差距中，段落检索与可回答性预测各自贡献了多少？
• RQ3 当提供黄金段落和可回答性信号时，最先进模型在多大程度上能超越人类标注者？
• RQ4 不可回答性模式在不同语言和数据集之间有何差异？哪些语言或结构特征导致模型失败？
• RQ5 在数据集收集与任务设计方面，哪些改进可提升真实世界信息型QA系统的答案覆盖度与模型鲁棒性？

主要发现

• 当提供黄金段落和可回答性标签时，最先进QA模型的F1分数超过单个标注者，表明主要挑战在于段落选择与可回答性预测。
• 可回答性预测仍是重大挑战：模型难以检测不可回答问题，尤其当不可回答性源于模糊性、事实错误或文档中信息缺失时。
• 受控实验证明，当提供黄金段落时，F1分数最高可提升10%，凸显段落检索是主要瓶颈。
• 对六种语言中800个不可回答示例的手动标注表明，不可回答性并非单一类型——如‘模糊查询’和‘错误信息’等类别尤其难以检测。
• 研究发现问题表面形式中存在可被模型利用的特征，使其仅凭问题即可预测可回答性，提示当前数据集中存在捷径学习的风险。
• 许多不可回答问题存在替代知识源，表明若不再仅依赖维基百科作为唯一信息源，答案覆盖度可显著提升。