[论文解读] Multi-hop Inference for Question-driven Summarization

Yang Deng, Wenxuan Zhang+1 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 42被引用 5

一句话总结

本文提出多跳选择性生成器（MSG），一种新颖的非事实性问题回答摘要生成模型，通过整合多跳推理机制，识别文档中的理由性句子。MSG通过人类推理模块与具有多视角注意力覆盖的门控选择性指针生成器，联合建模问题相关性与句子间关系，生成简洁且信息丰富的摘要，在WikiHow和PubMedQA数据集上超越了当前最先进方法，同时提供可解释的理由性证据。

ABSTRACT

Question-driven summarization has been recently studied as an effective approach to summarizing the source document to produce concise but informative answers for non-factoid questions. In this work, we propose a novel question-driven abstractive summarization method, Multi-hop Selective Generator (MSG), to incorporate multi-hop reasoning into question-driven summarization and, meanwhile, provide justifications for the generated summaries. Specifically, we jointly model the relevance to the question and the interrelation among different sentences via a human-like multi-hop inference module, which captures important sentences for justifying the summarized answer. A gated selective pointer generator network with a multi-view coverage mechanism is designed to integrate diverse information from different perspectives. Experimental results show that the proposed method consistently outperforms state-of-the-art methods on two non-factoid QA datasets, namely WikiHow and PubMedQA.

研究动机与目标

• 解决现有基于查询的摘要方法缺乏结构化推理、无法捕捉非事实性QA中句子间依赖关系的局限性。
• 开发一种问题驱动的抽象摘要模型，支持多跳推理，以从源文档中识别并说明关键信息。
• 通过多视角注意力覆盖机制减少生成摘要中的重复内容，同时保持连贯性与信息量。
• 通过建模多跳推理过程中句子的重要性，提供可解释的理由性句子。

提出的方法

• 设计多跳推理模块，从词级与句子级评估句子重要性，建模问题的语义相关性与句子间的一致性。
• 采用门控选择性指针生成网络，动态关注文档与问题中的相关内容，整合来自多个推理跳变的信息。
• 引入多视角注意力覆盖机制，对问题与文档中相同标记的重复关注进行惩罚，减少生成过程中的重复。
• 通过注意力机制计算句子重要性得分，并在各跳之间进行归一化，以指导内容选择，实证发现3跳推理为最优配置。
• 通过序列到序列训练目标，联合优化答案流畅性、事实一致性与理由完整性。
• 在两个非事实性QA基准数据集（WikiHow与PubMedQA）上进行模型训练与评估，并对推理跳数与覆盖机制进行消融实验。

实验结果

研究问题

• RQ1 多跳推理能否提升问题驱动的抽象摘要中内容选择与理由生成的质量？
• RQ2 句子间关系建模的整合在多大程度上提升了生成摘要的质量与连贯性？
• RQ3 与标准注意力覆盖机制相比，多视角覆盖机制在多大程度上减少了抽象摘要中的重复？
• RQ4 所提出方法是否在生成信息丰富且准确的答案方面优于现有抽取式与抽象式基线模型？
• RQ5 不同推理跳数（1、2、3跳）对模型性能与泛化能力的影响如何？

主要发现

• 所提出的MSG模型在WikiHow与PubMedQA数据集上均达到最先进性能，在ROUGE与BLEU指标上超越了现有抽象式与抽取式基线模型。
• 性能随跳数增加而提升，至3跳时达到峰值，之后趋于平稳或轻微下降，表明3跳是模型的合适超参数。
• 3跳版本的MSG能够成功捕获第一跳与第三跳推理中所需的关键信息，实现完整且准确的摘要生成。
• 多视角覆盖机制显著减少了生成答案中的n-gram重复，相较于原始覆盖机制在减少重复方面表现更优。
• 案例研究显示，MSG（3跳）生成的摘要既全面又具备充分理由支撑，而1跳与2跳变体在需要多跳推理时会遗漏关键内容。
• 基线模型如QPGN、QS与SD2无法捕获关键信息或生成无关内容，凸显了MSG推理感知架构的优势。