[论文解读] Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization

Prakhar Ganesh, Saket Dingliwal|arXiv (Cornell University)|Feb 5, 2019

Topic Modeling被引用 6

一句话总结

本文提出了一种零样本生成式对话摘要方法，通过话语关系重构对话以形成类似文档的结构，随后使用预训练的文档摘要模型（如 BART 和 PGN）进行摘要生成。该方法在 ROUGE 指标上最高提升 3 分，且无需领域特定的微调数据，优于现有方法。

ABSTRACT

Dialogue summarization is a challenging problem due to the informal and unstructured nature of conversational data. Recent advances in abstractive summarization have been focused on data-hungry neural models and adapting these models to a new domain requires the availability of domain-specific manually annotated corpus created by linguistic experts. We propose a zero-shot abstractive dialogue summarization method that uses discourse relations to provide structure to conversations, and then uses an out-of-the-box document summarization model to create final summaries. Experiments on the AMI and ICSI meeting corpus, with document summarization models like PGN and BART, shows that our method improves the ROGUE score by up to 3 points, and even performs competitively against other state-of-the-art methods.

研究动机与目标

• 解决在标注训练数据稀缺的低资源环境下生成式对话摘要的挑战。
• 通过话语关系对非结构化、非正式的对话进行结构化处理，以提升摘要质量。
• 通过利用无需微调的预训练文档摘要模型，实现零样本适应。
• 提供一种灵活、可解释且易于调试的流水线，避免端到端训练。
• 通过使用话语级标注而非任务特定标注，实现在不同领域的泛化能力。

提出的方法

• 该方法采用两阶段流水线：首先，话语关系分类器识别话语之间的关系，如 'Elab'（详述）、'Contrast'（对比）、'Cause'（因果）和 'Question-Answer'（问题-回答）等。
• 利用这些话语关系将原始对话重构为线性、类似文档的序列，以保持语义和逻辑连贯性。
• 将重构后的对话输入预训练的生成式文档摘要模型（如 BART 或 PGN）以生成最终摘要。
• 话语标签通过预训练的话语解析器预测，实现对未见领域的零样本部署。
• 应用回指消解以提升生成摘要中的指代消解能力，增强连贯性。
• 该方法避免端到端训练，而是结合来自文档摘要和话语分析领域中已验证良好的现有组件。

实验结果

研究问题

• RQ1 基于话语关系的重构是否能在零样本设置下提升生成式对话摘要的性能？
• RQ2 当将标准文档摘要器应用于话语关系重构后的对话与原始对话时，其性能有何差异？
• RQ3 在不进行微调的情况下，话语感知重构在不同对话领域中的泛化程度如何？
• RQ4 与直接将文档模型应用于原始对话相比，使用话语关系是否能生成更连贯、更流畅的摘要？
• RQ5 简单的两阶段流水线是否能超越需要大规模标注数据的复杂端到端对话摘要模型？

主要发现

• 在 AMI 和 ICSI 数据集上，与直接应用于原始对话的基线文档摘要模型相比，该方法在 ROUGE 指标上最高提升 3 分。
• 即使未进行任何微调或使用领域特定数据，该方法在性能上仍可与当前最先进对话摘要模型相媲美。
• 利用话语关系重构对话能显著提升生成摘要的连贯性和事实一致性。
• 该方法在多种对话类型（包括会议对话和非正式对话）中均保持强劲性能，展示了零样本泛化能力。
• 将话语解析与预训练摘要模型结合，相比直接将相同模型应用于原始对话，能生成更流畅、更接近人类表达的摘要。
• 该方法具有鲁棒性和可解释性，因为话语关系为摘要前输入结构的调整提供了清晰的依据。