[论文解读] In Situ Answer Sentence Selection at Web-scale

Zeyu Zhang, Thuy Vu+1 more|arXiv (Cornell University)|Jan 16, 2022

Topic Modeling被引用 4

一句话总结

本文提出 PEASI，一种用于网络规模开放域问答的新型在位答案句选择框架，通过基于多任务 Transformer 的模型，联合重排序文本段落并直接从最高排名段落中提取答案句。该方法在保持约 80% 推理成本降低的同时，将准确率提升至 55.37%（较最先进点对点方法高出 6.51%），并基于一个包含 800,000 多个标注段落和句子的新型大规模网络来源问答数据集实现。

ABSTRACT

Current answer sentence selection (AS2) applied in open-domain question answering (ODQA) selects answers by ranking a large set of possible candidates, i.e., sentences, extracted from the retrieved text. In this paper, we present Passage-based Extracting Answer Sentence In-place (PEASI), a novel design for AS2 optimized for Web-scale setting, that, instead, computes such answer without processing each candidate individually. Specifically, we design a Transformer-based framework that jointly (i) reranks passages retrieved for a question and (ii) identifies a probable answer from the top passages in place. We train PEASI in a multi-task learning framework that encourages feature sharing between the components: passage reranker and passage-based answer sentence extractor. To facilitate our development, we construct a new Web-sourced large-scale QA dataset consisting of 800,000+ labeled passages/sentences for 60,000+ questions. The experiments show that our proposed design effectively outperforms the current state-of-the-art setting for AS2, i.e., a point-wise model for ranking sentences independently, by 6.51% in accuracy, from 48.86% to 55.37%. In addition, PEASI is exceptionally efficient in computing answer sentences, requiring only ~20% inferences compared to the standard setting, i.e., reranking all possible candidates. We believe the release of PEASI, both the dataset and our proposed design, can contribute to advancing the research and development in deploying question answering services at Web scale.

研究动机与目标

• 解决标准答案句选择（AS2）流水线在逐个独立处理候选句时存在的效率低下与性能下降问题。
• 克服点对点建模的局限性，该方法忽略段落级语义，导致答案选择次优。
• 通过减少候选句排序所需的推理次数，降低网络规模 AS2 的计算成本。
• 构建一个新型大规模端到端问答数据集（WQA），用于捕捉网络规模开放域问答中的段落检索、重排序与答案选择信号。
• 通过多任务学习实现段落重排序与答案句提取的联合优化，提升系统有效性与效率。

提出的方法

• 设计基于 Transformer 的多任务学习框架，对同一输入段落联合训练段落重排序器（Pr）与在位答案句提取器（EASI）。
• 执行段落级重排序而非句级排序，从而减少需评估的候选句数量。
• 采用多分类器架构，利用段落语义直接识别最可能的答案句。
• 通过共享表示实现端到端联合训练，促进特征共享与联合优化。
• 构建大规模网络来源问答数据集（WQA），包含 64,000 多个问题、800,000 多个标注段落/句子，以及来自 CommonCrawl 的 3000 万个文档用于训练与评估。
• 对段落重排序使用标准优化技术，同时对模型进行专门化设计，以优先选择可能包含正确答案的段落。

实验结果

研究问题

• RQ1 与对所有候选句进行点对点排序相比，在最高排名段落中直接选择答案是否能提升准确率？
• RQ2 在答案选择过程中利用段落级语义是否能优于仅基于句级建模的 AS2 方法？
• RQ3 在大规模开放域问答中，联合优化段落重排序与答案提取的多任务学习是否能同时提升有效性与效率？
• RQ4 通过避免对所有候选句进行点对点推理，计算成本最多可降低多少？
• RQ5 在包含人工标注答案句的大规模网络来源 QA 数据集上，所提出的 PEASI 框架表现如何？

主要发现

• 与最先进点对点模型相比，PEASI 将答案句选择准确率提升 6.51%，从 48.86% 提高至 55.37%。
• 与标准点对点 AS2 相比，该方法将推理成本降低约 81.4%，仅需约 20% 的推理次数。
• 通过利用段落级上下文，模型表现出更优性能，优于将句子孤立处理的模型。
• 新构建的 WQA 数据集包含来自 3000 万个文档的 800,000 多个标注段落与句子，可有效支持在位 AS2 系统的训练与评估。
• 失败分析表明，PEASI 避免了点对点模型的常见缺陷，如依赖 'due to' 等短语模式而非语义正确性。
• 多任务学习设置实现了段落重排序与答案提取之间的有效特征共享，增强了整体系统鲁棒性。