[论文解读] Text Summarization with Latent Queries

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|May 31, 2021

Topic Modeling参考文献 47被引用 8

一句话总结

该论文提出 LaQSum，这是首个统一的生成式文本摘要系统，通过将查询作为文档中的离散潜在变量进行建模，实现在无需训练时使用查询标注的情况下进行零样本查询聚焦摘要。通过在深度生成框架下联合优化潜在查询模型与条件语言模型，LaQSum 在多种查询类型、文档设置和领域中均实现了最先进性能，优于通用和零样本查询聚焦摘要基准上的强基线模型。

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create summaries from single documents, for generic purposes. When using a summarization system, users often have specific intents with various language realizations, which, depending on the information need, can range from a single keyword to a long narrative composed of multiple questions. Existing summarization systems, however, often either fail to support or act robustly on this query focused summarization task. We introduce LaQSum, the first unified text summarization system that learns Latent Queries from documents for abstractive summarization with any existing query forms. Under a deep generative framework, our system jointly optimizes a latent query model and a conditional language model, allowing users to plug-and-play queries of any type at test time. Despite learning from only generic summarization data and requiring no further optimization for downstream summarization tasks, our system robustly outperforms strong comparison systems across summarization benchmarks with different query types, document settings, and target domains.

研究动机与目标

• 通过仅使用无查询标注的通用摘要数据，解决大规模查询聚焦摘要（QFS）训练数据缺乏的问题。
• 构建一个统一的摘要系统，支持通用摘要与查询聚焦摘要，且无需为新查询类型重新训练。
• 通过在推理时允许用户指定任何形式的查询（例如关键词、问题）而不进行模型微调，实现稳健的零样本推理。
• 将查询作为直接从输入文档中提取的离散潜在变量进行建模，避免使用流水线式查询提取或生成。
• 通过学习输入文档的查询无关与查询聚焦视图，提升在多样化查询格式与领域中的泛化能力与鲁棒性。

提出的方法

• 将生成式摘要建模为具有两个组件的深度生成过程：(1) 潜在查询建模（从文档生成离散潜在查询），(2) 条件语言建模（基于文档与潜在查询生成摘要）。
• 采用变分推理框架近似潜在查询的后验分布，实现通过反向传播进行端到端训练。
• 在推理阶段引入非参数校准步骤，利用用户提供的查询更新潜在查询后验分布，实现在无需微调情况下的零样本推理。
• 采用双视图编码器架构：一个视图在无查询条件情况下捕捉文档上下文，另一个视图通过潜在查询聚焦于查询感知表示。
• 仅使用通用摘要数据进行模型训练（无查询标注），并通过提取式标注（弱监督）与生成式摘要（强监督）的双重监督进行训练。
• 应用后验丢弃与消融分析技术，评估各组件的贡献，包括查询无关视图与查询信念更新机制的作用。

实验结果

研究问题

• RQ1 是否可以仅使用通用摘要数据对单一神经摘要模型进行训练，并在推理时对多样化查询类型实现稳健泛化？
• RQ2 与流水线式查询生成或提取方法相比，将查询作为直接从输入文档中提取的离散潜在变量进行建模，其有效性如何？
• RQ3 在推理阶段对潜在查询后验分布进行非参数校准，能在多大程度上实现对不同查询格式的零样本性能？
• RQ4 弱监督（如标注）与强监督（如人工摘要）在学习有意义潜在查询中的相对贡献是什么？
• RQ5 当潜在查询模型不完善时，引入查询无关视图对模型性能的影响如何？

主要发现

• LaQSum 在零样本生成式查询聚焦摘要任务中达到最先进性能，优于使用昂贵问答或 QFS 标注的系统，包括 Bart-Caq 与 MargeSum。
• 在 DUC 2007 与 DUC 2008 数据集上，LaQSum 超过强的提取式基线模型 QuerySum，并在所有 ROUGE 指标上优于零样本生成式模型如 Bart 与 GSum+Query E。
• 消融研究显示，若在推理阶段移除非参数查询校准，性能将显著下降，证实其在零样本适应中的关键作用。
• 联合使用标注与生成监督的训练方式优于仅依赖弱监督或强监督，表明在潜在查询学习中存在有益的权衡。
• 移除查询无关视图导致性能显著下降，表明模型从同时保持通用文档上下文与查询聚焦表示中获益。
• 后验丢弃实验确认，来自不准确潜在查询模型的误差传播会损害生成质量，强调了稳健双视图架构的重要性。