[论文解读] HAS-QA: Hierarchical Answer Spans Model for Open-domain Question Answering

Liang Pang, Yanyan Lan+4 more|arXiv (Cornell University)|Jan 12, 2019

Topic Modeling参考文献 21被引用 6

一句话总结

本文提出HAS-QA，一种用于开放域问答的层次化答案片段模型，解决了将阅读理解模型直接应用于开放域问答（OpenQA）时的三个关键局限：无关段落、每段中存在多个答案片段以及独立预测答案起止位置。通过在问题、段落和片段三个层级上建模答案概率，HAS-QA在QuasarT、TriviaQA和SearchQA数据集上均提升了性能，超越了传统阅读理解基线模型和近期的OpenQA模型。

ABSTRACT

This paper is concerned with open-domain question answering (i.e., OpenQA). Recently, some works have viewed this problem as a reading comprehension (RC) task, and directly applied successful RC models to it. However, the performances of such models are not so good as that in the RC task. In our opinion, the perspective of RC ignores three characteristics in OpenQA task: 1) many paragraphs without the answer span are included in the data collection; 2) multiple answer spans may exist within one given paragraph; 3) the end position of an answer span is dependent with the start position. In this paper, we first propose a new probabilistic formulation of OpenQA, based on a three-level hierarchical structure, i.e.,~the question level, the paragraph level and the answer span level. Then a Hierarchical Answer Spans Model (HAS-QA) is designed to capture each probability. HAS-QA has the ability to tackle the above three problems, and experiments on public OpenQA datasets show that it significantly outperforms traditional RC baselines and recent OpenQA baselines.

研究动机与目标

• 解决直接将阅读理解（RC）模型应用于开放域问答（OpenQA）时的局限性，其中RC模型假设每一段都包含答案，并独立处理答案片段。
• 认识到OpenQA数据中包含大量无答案片段的无关段落、每段中存在多个有效答案片段，且答案片段的起止位置存在依赖关系。
• 提出一种三层次的开放域问答概率建模方法——问题、段落和片段层级，以更好地捕捉答案预测的层次结构。
• 设计一个端到端模型HAS-QA，整合段落质量估计、多个答案片段聚合以及条件化片段预测，以提升答案准确性。
• 证明建模段落相关性与片段依赖关系可显著提升在公开OpenQA基准测试上的性能，优于RC基线与现有OpenQA模型。

提出的方法

• 将开放域问答建模为层次化概率模型：答案概率 = 段落概率 × 条件答案概率，其中段落概率衡量相关性，答案概率聚合多个片段。
• 使用带有注意力机制的双向GRU计算段落相关性得分，并在训练过程中通过负采样策略对段落间得分进行归一化。
• 采用四种聚合函数（HEAD、RAND、SUM、MAX）对段落内的多个答案片段进行建模，其中SUM与MAX表现更优，因其能综合所有有效片段的证据。
• 实现一个条件指针网络，根据起始位置生成结束位置，显式建模答案片段起止位置之间的依赖关系。
• 使用束搜索（beam search），超参数为$K_1$（片段数量）和$K_2$（每个片段的候选数），在效率与性能间取得平衡，最终选择$K_1=3, K_2=1$为最优配置。
• 采用端到端训练方式，以答案片段的交叉熵损失进行优化，并通过负采样策略在段落层级提供监督信号，提升对无关段落的鲁棒性。

实验结果

研究问题

• RQ1 将开放域问答分解为问题、段落和片段三个层级的层次化概率建模方法，相较于传统阅读理解模型，如何提升答案预测性能？
• RQ2 建模段落相关性（即段落概率）在多大程度上能减轻无关段落在开放域问答中的负面影响？
• RQ3 在段落内聚合多个答案片段能否提升答案准确性？在HEAD、RAND、SUM、MAX四种聚合策略中，哪种表现最佳？
• RQ4 与独立预测起止位置相比，显式建模答案片段起止位置之间的依赖关系对预测质量有何影响？
• RQ5 所提出的HAS-QA模型是否在标准基准测试上显著优于传统阅读理解基线与近期的开放域问答模型？

主要发现

• 在QuasarT数据集上，HAS-QA使用MAX聚合函数实现了0.432的EM得分，较HEAD基线提升6–10%，证明了多片段聚合的有效性。
• 与HEAD相比，SUM与MAX聚合函数使EM提升6–10%，而RAND表现较差，因其受到多个片段带来的冲突训练信号影响。
• 段落质量估计器使HAS-QA在最多30段的输入下仍能保持高性能，优于Shared-Norm（在约15段后性能饱和）与PosOnly（在约5段后性能饱和）。
• 段落MAP得分显示，HAS-QA的段落概率排序优于Shared-Norm与PosOnly，证实其识别相关段落的能力更强。
• 使用$K_1=3$与$K_2=1$的束搜索配置在性能与速度间取得最佳平衡，EM得分在多种配置下稳定在0.432。
• 在TriviaQA与SearchQA数据集上，HAS-QA显著优于传统阅读理解基线与近期的OpenQA模型，验证了其在多样化OpenQA数据集上的泛化能力。