[论文解读] A Generative Approach to Question Answering

Rajarshee Mitra|arXiv (Cornell University)|Nov 16, 2017

Topic Modeling参考文献 7被引用 3

一句话总结

本文提出了一种生成式阅读理解模型，通过序列到序列框架结合指针-生成网络和覆盖机制，直接从篇章-问题配对中生成抽象式答案。通过学习从篇章中复制关键实体并跟踪注意力位置以减少重复，该模型在MS-MARCO数据集上取得了当前最优的ROUGE-L得分，优于抽取式和基线生成式模型，同时提升了答案的可读性和正确性。

ABSTRACT

Question Answering has come a long way from answer sentence selection, relational QA to reading and comprehension. We shift our attention to generative question answering (gQA) by which we facilitate machine to read passages and answer questions by learning to generate the answers. We frame the problem as a generative task where the encoder being a network that models the relationship between question and passage and encoding them to a vector thus facilitating the decoder to directly form an abstraction of the answer. Not being able to retain facts and making repetitions are common mistakes that affect the overall legibility of answers. To counter these issues, we employ copying mechanism and maintenance of coverage vector in our model respectively. Our results on MS-MARCO demonstrate it's superiority over baselines and we also show qualitative examples where we improved in terms of correctness and readability

研究动机与目标

• 开发一种生成式阅读理解模型，能够生成抽象式答案，且无需依赖抽取式标签或跨度标注。
• 通过引入复制机制与覆盖向量，解决生成答案中的事实性错误与重复问题。
• 使模型能够根据输入数据动态切换抽象式与抽取式生成，消除对外部抽取模块的依赖。
• 通过保持注意力覆盖并减少冗余词语生成，提升答案的可读性与正确性。

提出的方法

• 模型使用共享权重的双向GRU编码器，将问题与篇章编码为上下文表示。
• 应用缩放乘法注意力计算问题与篇章表示之间的对齐，实现查询感知编码。
• 指针-生成网络计算概率 $ p_{\text{gen}} $，以决定是从未知词汇表生成词语，还是从篇章中复制词语，从而提升事实一致性。
• 维护一个覆盖向量，作为注意力分布的累积和，以惩罚对同一编码器状态的过度关注，减少重复。
• 解码器在每个时间步关注编码器状态，并在注意力机制中引入额外的覆盖感知项，以引导生成多样性。
• 模型采用负对数似然损失进行端到端训练，固定使用GloVe词嵌入，并使用Adadelta优化算法。

实验结果

研究问题

• RQ1 序列到序列模型是否能够在不依赖抽取式跨度标注或外部标注的情况下，生成高质量的抽象式答案？
• RQ2 指针-生成机制在生成答案时，对保留事实性实体的有效性如何？
• RQ3 与标准序列到序列模型相比，覆盖机制在多大程度上减少了生成答案中的重复？
• RQ4 覆盖与复制机制的结合是否同时提升了ROUGE-L得分与人工评估的可读性？
• RQ5 模型在不同问题类型下，其内部在复制与生成之间的决策如何变化？

主要发现

• 所提模型在MS-MARCO开发数据集上取得74/59.5的ROUGE-L得分，显著优于基线序列到序列模型（37.70 ROUGE-L）。
• 同时采用指针-生成与覆盖机制的模型，困惑度为4.35/4.62，显示出更好的训练稳定性和生成质量。
• 平均 $ p_{\text{gen}} $ 值为0.7，表明模型主要从篇章中复制内容，反映出MS-MARCO数据集的抽取式特性。
• 定性分析显示，该模型保留了核心信息并减少了重复，相比基线模型显著提升了答案可读性。
• 覆盖机制有效抑制了重复词语的生成，生成答案中的冗余程度明显降低。
• 自注意力机制未提升性能，表明解码器的注意力机制已能充分捕捉长距离依赖关系。