[论文解读] Challenges in Generalization in Open Domain Question Answering

Linqing Liu, Patrick Lewis+2 more|arXiv (Cornell University)|Sep 2, 2021

Topic Modeling被引用 12

一句话总结

本文通过将新问题分为三类：训练集重叠、组合式泛化（comp-gen）和新实体泛化，研究开放域问答（ODQA）中的泛化挑战。研究发现，即使表现强劲的模型在comp-gen和新实体问题上的表现也显著下降，分别下降13.1%和5.4%，表明组合式和实体级泛化是主要瓶颈，尤其对非参数模型而言。

ABSTRACT

Recent work on Open Domain Question Answering has shown that there is a large discrepancy in model performance between novel test questions and those that largely overlap with training questions. However, it is unclear which aspects of novel questions make them challenging. Drawing upon studies on systematic generalization, we introduce and annotate questions according to three categories that measure different levels and kinds of generalization: training set overlap, compositional generalization (comp-gen), and novel-entity generalization (novel-entity). When evaluating six popular parametric and non-parametric models, we find that for the established Natural Questions and TriviaQA datasets, even the strongest model performance for comp-gen/novel-entity is 13.1/5.4% and 9.6/1.5% lower compared to that for the full test set -- indicating the challenge posed by these types of questions. Furthermore, we show that whilst non-parametric models can handle questions containing novel entities relatively well, they struggle with those requiring compositional generalization. Lastly, we find that key question difficulty factors are: cascading errors from the retrieval component, frequency of question pattern, and frequency of the entity.

研究动机与目标

• 理解为何开放域问答（ODQA）模型在训练类似查询上表现良好，却无法泛化到新问题。
• 将新问题分解为不同泛化类型——重叠、组合式泛化（comp-gen）和新实体泛化，以隔离失败模式。
• 在Natural Questions、TriviaQA和WebQuestions数据集上，评估六种最先进参数化与非参数化ODQA模型在这些类别中的表现。
• 探究泛化性能差的根源，包括检索质量、问题模式频率和实体频率等因素。
• 确定在ODQA中，未见实体还是组合结构是模型泛化的主要障碍。

提出的方法

• 提出对测试问题的三类分类：(1) 重叠（从训练数据中重述的）；(2) 组合式泛化（已知事实/结构的新组合）；(3) 新实体泛化（未知实体）。
• 通过语义分解，人工标注了三个现有的ODQA数据集——Natural Questions、TriviaQA和WebQuestions，以识别问题中的原子成分。
• 在每个类别上评估六种近期ODQA模型（包括参数化与非参数化架构）的性能下降情况。
• 分析问题模式频率和实体频率对模型准确率的影响，发现二者与性能存在强烈相关性。
• 通过测量各类别中top-20段落检索准确率，评估检索质量，发现comp-gen和新实体问题的检索表现持续偏低。
• 通过将问题和段落中的新实体替换为已见实体，开展消融实验，以隔离实体新颖性与组合复杂性的影响。

实验结果

研究问题

• RQ1 新问题的哪些具体方面导致ODQA模型性能下降？
• RQ2 不同泛化类型——重叠、组合式泛化和新实体泛化——如何影响最先进ODQA系统的表现？
• RQ3 低频问题模式和稀有实体在多大程度上导致模型失败？
• RQ4 ODQA泛化的主要瓶颈是未见实体还是组合结构？
• RQ5 检索质量与泛化失败之间有何关联，特别是在comp-gen和新实体问题上？

主要发现

• 在Natural Questions数据集中，最强模型在组合式泛化（comp-gen）上的表现比全测试集低13.1%，在新实体泛化上低5.4%。
• 在TriviaQA上，comp-gen表现下降9.6%，新实体泛化下降1.5%，表明泛化差距持续存在。
• 非参数化模型对新实体问题处理相对较好，但对组合式泛化显著表现不佳，表明组合性而非实体新颖性才是关键挑战。
• comp-gen问题的性能与实体频率呈强烈负相关：问题中实体越稀有，准确率越低。
• top-20段落检索准确率在comp-gen和新实体子集上均约为75%，表明检索是主要瓶颈。
• 将问题和段落中的新实体替换为已见实体后，性能未显著提升，表明核心问题在于组合式泛化，而非实体新颖性。