[论文解读] DynE: Dynamic Ensemble Decoding for Multi-Document Summarization

Chris Hokamp, Demian Gholipour Ghalandari+2 more|arXiv (Cornell University)|Jun 15, 2020

Topic Modeling参考文献 24被引用 10

一句话总结

本文提出 DynE，一种动态集成解码方法，通过将单个微调的序列到序列模型应用于多个输入文档时的输出进行集成，从而提升多文档摘要性能。通过在多个输入间联合解码，并在每个时间步聚合预测结果，DynE 在不改变模型架构的前提下，在多个多文档摘要基准上实现了最先进性能，尤其在输入高度重叠（如关于同一事件的新闻文章）时表现尤为出色。

ABSTRACT

Sequence-to-sequence (s2s) models are the basis for extensive work in natural language processing. However, some applications, such as multi-document summarization, multi-modal machine translation, and the automatic post-editing of machine translation, require mapping a set of multiple distinct inputs into a single output sequence. Recent work has introduced bespoke architectures for these multi-input settings, and developed models which can handle increasingly longer inputs; however, the performance of special model architectures is limited by the available in-domain training data. In this work we propose a simple decoding methodology which ensembles the output of multiple instances of the same model on different inputs. Our proposed approach allows models trained for vanilla s2s tasks to be directly used in multi-input settings. This works particularly well when each of the inputs has significant overlap with the others, as when compressing a cluster of news articles about the same event into a single coherent summary, and we obtain state-of-the-art results on several multi-document summarization datasets.

研究动机与目标

• 使预训练的单文档生成式摘要模型无需架构或训练修改即可直接应用于多文档摘要任务。
• 探究在高重叠设置下，对多个相似输入的模型输出进行集成是否能提升摘要性能。
• 探索动态集成是否能通过追踪每个输入对解码每一步的贡献，提供可解释性。
• 在具有不同输入重叠程度和摘要长度的多样化多文档摘要数据集上评估该方法。
• 识别该方法的局限性，例如对输入长度的敏感性以及输入数量增加时内存线性增长的问题。

提出的方法

• 动态集成单个预训练编码器-解码器模型对聚类中每个输入文档独立应用后的预测结果。
• 在每个解码时间步，模型通过使用归约操作组合所有输入文档的条件概率来生成下一个词符。
• 每个输入文档对最终输出的贡献通过条件概率 $ p_{\theta}(y_t|\mathbf{x}_i) $ 计算，该值与其他输入无关。
• 该方法支持所有输入文档的并行解码，减少了对串行处理的依赖。
• 通过基于所有输入聚合得分选择最可能的词符，生成集成输出。
• 通过追踪每个输入在每个时间步的得分，实现可解释性，从而可视化每篇文档对最终摘要的影响。

实验结果

研究问题

• RQ1 标准的单文档生成式摘要模型是否能在不修改架构的情况下，在多文档摘要任务上实现最先进性能？
• RQ2 与仅使用单个输入相比，对多个重叠输入文档的预测进行集成是否能提升摘要质量？
• RQ3 动态集成是否能提供关于每篇输入文档如何贡献于最终摘要的可解释性洞察？
• RQ4 当输入高度相似时，DynE 的性能如何随聚类中输入文档数量的变化而变化？
• RQ5 DynE 在处理长度各异或内容不相交的文档时存在哪些局限性？

主要发现

• DynE 在 WCEP 和 DUC 2004 数据集上实现了最先进性能，且无需任何微调或架构修改，优于强基线模型。
• 在 WCEP 数据集上，DynE-1（单输入）已超越先前最先进模型，而 DynE-5（五输入）将 ROUGE-1 和 ROUGE-L 分数分别提升至 0.439 和 0.222。
• 在 DUC 2004 上，使用八组输入的 DynE 达到 ROUGE-1 为 33.21，ROUGE-2 为 8.06，R-SU 为 11.47，尽管未进行微调，但已接近强生成式基线模型。
• 在 MultiNews 上性能表现不一致：DynE-1 超过基线，但 DynE-5 略有下降，可能由于数据集中存在噪声或高度相似的文档。
• 时间步级得分的可视化结果表明，DynE 能有效抑制聚类外或不匹配文档的贡献，展现出对噪声的鲁棒性。
• 通过追踪每个解码步骤中每篇文档的贡献，该方法实现了精确的、与输入相关的可解释性，为注意力机制解释提供了一种模型无关的替代方案。