[论文解读] Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning

Yuning Mao, Yanru Qu+3 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 42被引用 6

一句话总结

本文提出 RL-MMR，一种将最大边际相关性（MMR）与神经序列模型相结合的强化学习框架，用于多文档摘要（MDS）。通过使用软注意力机制引导基于 MMR 的候选选择，并在端到端训练中联合优化重要性与冗余性，RL-MMR 在 DUC 2004 和 TAC 2011 基准测试中实现了最先进性能，优于纯神经网络模型和经典 MDS 方法。

ABSTRACT

While neural sequence learning methods have made significant progress in single-document summarization (SDS), they produce unsatisfactory results on multi-document summarization (MDS). We observe two major challenges when adapting SDS advances to MDS: (1) MDS involves larger search space and yet more limited training data, setting obstacles for neural methods to learn adequate representations; (2) MDS needs to resolve higher information redundancy among the source documents, which SDS methods are less effective to handle. To close the gap, we present RL-MMR, Maximal Margin Relevance-guided Reinforcement Learning for MDS, which unifies advanced neural SDS methods and statistical measures used in classical MDS. RL-MMR casts MMR guidance on fewer promising candidates, which restrains the search space and thus leads to better representation learning. Additionally, the explicit redundancy measure in MMR helps the neural representation of the summary to better capture redundancy. Extensive experiments demonstrate that RL-MMR achieves state-of-the-art performance on benchmark MDS datasets. In particular, we show the benefits of incorporating MMR into end-to-end learning when adapting SDS to MDS in terms of both learning effectiveness and efficiency.

研究动机与目标

• 为解决神经序列模型在多文档摘要（MDS）中的局限性，这些模型因训练数据有限而面临巨大的搜索空间和高冗余问题。
• 通过用软注意力机制替代先前 MDS 方法中效率低下的硬剪枝策略，保留更多候选信息，从而克服其效率低下问题。
• 将显式的冗余控制机制（通过 MMR 实现）整合到端到端神经训练中，以提升摘要质量与泛化能力。
• 证明将神经表征学习与经典统计度量（如 MMR）相结合，可在 MDS 任务中实现更优性能。

提出的方法

• 该框架使用强化学习智能体从多份文档中选择句子，以 MMR 得分为奖励信号进行引导。
• 对 MMR 排名的候选句应用软注意力机制，使模型能够关注高分句子，同时仍考虑低分句子。
• MMR 分数通过结合 TF-IDF 与 BERT 嵌入的混合相似度度量计算，以平衡词汇与语义相似性。
• 奖励函数显式平衡重要性与冗余性，其中超参数控制信息量与重复度之间的权衡。
• 端到端训练使句子选择与摘要生成得以联合优化，使神经模型能够从 MMR 引导的反馈中学习。
• 该方法在 DUC 2004 和 TAC 2011 数据集上使用 ROUGE 指标进行评估，并通过消融实验验证设计选择的有效性。

实验结果

研究问题

• RQ1 将 MMR 作为引导信号是否能超越标准序列模型，提升神经多文档摘要性能？
• RQ2 在 MDS 中，对 MMR 排名候选句使用软注意力机制是否比硬剪枝带来更好的表征学习效果？
• RQ3 在端到端训练中，MMR 的显式冗余度量与神经句子表征结合时，其有效性如何？
• RQ4 在 MDS 中，重要性与冗余性的最优平衡点是什么？该平衡如何影响摘要质量？

主要发现

• RL-MMR 在 DUC 2004 和 TAC 2011 基准测试中实现了最先进性能，优于纯神经网络方法与经典 MDS 方法。
• 模型在 DUC 2004 上的 ROUGE-1 F1 得分为 44.2，在 TAC 2011 上为 41.8，显著优于先前方法（如 DPP-Caps-Comb 和单独使用 MMR）。
• 消融实验表明，软注意力优于硬截断策略，因为它能更好地探索有限的标注数据。
• 将 MMR 与神经模型结合后，冗余控制效果优于仅使用注意力机制，经人工分析输出结果得到验证。
• 重要性与冗余性之间的最优平衡（λ ≈ 0.5–0.8）始终带来比仅关注重要性更高的 ROUGE 得分。
• 使用 TF-IDF 计算 MMR 相似度可在不同设置下提供稳定性能，而 BERT 和 SNN 则需要更多超参数调优。