[论文解读] Generating Query Focused Summaries from Query-Free Resources

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 41被引用 4

一句话总结

该论文提出 Marge，一种用于抽取式查询聚焦摘要（QFS）的弱监督框架，利用通用摘要数据，无需依赖与查询相关的资源。通过使用统一的掩码表示将摘要转换为代理查询，Marge 训练查询模型以进行证据排序，并生成连贯、可控制查询的摘要，在多个 QFS 基准测试中实现最先进性能，尽管监督信号较弱。

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create generic summaries from single or multiple documents. In this work we consider query focused summarization (QFS), a task for which training data in the form of queries, documents, and summaries is not readily available. We propose to decompose QFS into (1) query modeling (i.e., finding supportive evidence within a set of documents for a query) and (2) conditional language modeling (i.e., summary generation). We introduce MaRGE, a Masked ROUGE Regression framework for evidence estimation and ranking which relies on a unified representation for summaries and queries, so that summaries in generic data can be converted into proxy queries for learning a query model. Experiments across QFS benchmarks and query types show that our model achieves state-of-the-art performance despite learning from weak supervision.

研究动机与目标

• 为解决查询聚焦摘要（QFS）缺乏训练数据的问题，通常需要难以获取的查询-文档-摘要三元组。
• 在不依赖问答或释义数据集的前提下，实现查询模型的训练，降低数据依赖性和成本。
• 开发摘要与查询的统一表示，使通用摘要数据可被重新用于 QFS。
• 生成连贯、抽象的摘要，既与查询相关又简洁，即使在弱监督下亦可实现。
• 仅使用通用摘要数据集，在 QFS 中实现最先进性能，避免使用昂贵的外部查询资源。

提出的方法

• 提出 Marge，一种用于证据估计与排序的掩码 ROUGE 回归框架，使用摘要与查询的统一表示。
• 通过掩码表示将通用摘要数据集中的摘要转换为代理查询，实现查询建模的弱监督。
• 将 QFS 分解为两个阶段：(1) 通过 Marge 进行证据排序的查询建模；(2) 基于选定证据的条件化抽象生成。
• 使用统一掩码表示（UMR）对齐嵌入空间中的摘要与查询，实现共享表示学习。
• 训练生成器以生成长度可控、与查询相关且连贯的抽象摘要，使用排序后句子中的证据。
• 利用在通用摘要数据上微调的预训练模型（如 BART）分别用于查询模型和生成器。

实验结果

研究问题

• RQ1 在无法访问与查询相关资源的前提下，能否有效重用通用摘要数据来训练查询聚焦摘要系统？
• RQ2 摘要与查询的统一表示能否在 QFS 中实现查询建模的弱监督？
• RQ3 两阶段框架——先证据排序后抽象生成——是否能产生比迭代或抽取式基线更连贯、更相关的摘要？
• RQ4 仅在通用摘要数据上训练的模型能否在多样化的领域和查询类型中实现 QFS 的最先进性能？
• RQ5 与使用问答数据集进行远距离监督训练的模型相比，生成摘要的连贯性与相关性如何？

主要发现

• 尽管仅使用通用摘要数据，Marge 在多个基准测试（包括 DUC 和 TD-QFS）的证据排序与抽象 QFS 任务中均达到最先进性能。
• 人工评估显示，MargeSum-Cd 在相关性与简洁性方面与 PQSum-Wsl 水平相当，且显著更连贯，而 PQSum-Wsl 和 QuerySum 因句子重排导致输出不连贯。
• MargeSum-Cd 在相关性上优于 UniLM-Cd（TD-QFS 上为 4.55 vs. 3.63），同时保持高连贯性（4.37 vs. 4.28），证明了统一表示与端到端生成的有效性。
• 在 DUC 上，模型获得 2.91 的人工评分相关性，在 TD-QFS 上为 4.55，显著优于 UniLM-Cd（3.63），并在 TD-QFS 上接近黄金标准相关性（4.70）。
• 通过从摘要派生的代理查询实现有效弱监督，使模型在无问答或释义数据集的情况下学习到与查询相关的证据排序。
• 抽象生成框架可一次性生成长篇连贯摘要，避免了迭代式、抽取-抽象混合流水线中常见的连贯性问题。