[论文解读] Massive Multi-Document Summarization of Product Reviews with Weak Supervision

Ori Shapira, Ran Levy|arXiv (Cornell University)|Jul 22, 2020

Topic Modeling参考文献 30被引用 10

一句话总结

本文提出了针对产品评论的海量多文档摘要（MMDS），提出了一种弱监督框架，通过聚类数千条评论并使用基于集合中心的代表性摘要进行训练。该方法显著提升了ROUGE得分，并在123款产品的数据集上实现了出色的语言质量，在自动与人工评估中均优于基线模型。

ABSTRACT

Product reviews summarization is a type of Multi-Document Summarization (MDS) task in which the summarized document sets are often far larger than in traditional MDS (up to tens of thousands of reviews). We highlight this difference and coin the term "Massive Multi-Document Summarization" (MMDS) to denote an MDS task that involves hundreds of documents or more. Prior work on product reviews summarization considered small samples of the reviews, mainly due to the difficulty of handling massive document sets. We show that summarizing small samples can result in loss of important information and provide misleading evaluation results. We propose a schema for summarizing a massive set of reviews on top of a standard summarization algorithm. Since writing large volumes of reference summaries needed for advanced neural network models is impractical, our solution relies on weak supervision. Finally, we propose an evaluation scheme that is based on multiple crowdsourced reference summaries and aims to capture the massive review collection. We show that an initial implementation of our schema significantly improves over several baselines in ROUGE scores, and exhibits strong coherence in a manual linguistic quality assessment.

研究动机与目标

• 为解决传统MDS系统无法处理数万条产品评论摘要的挑战。
• 提出一种可扩展的弱监督训练方案，避免在大规模数据集中人工标注完整摘要的不可行性。
• 设计一种评估方案，为每个评论子集提供多个众包生成的参考摘要，以确保评估的稳健性与代表性。
• 证明小样本摘要会导致关键信息丢失，并引发误导性的评估结果。

提出的方法

• 利用基于嵌入的聚类方法，将大量产品评论划分为互不重叠且同质的组别。
• 从每个聚类中选取最具有代表性的评论（即集合中心）作为弱参考摘要，以代表该聚类中的所有评论。
• 基于（聚类，集合中心）对训练神经网络摘要模型，使其能够泛化至超长输入长度。
• 摘要生成流程对输入评论应用相同的聚类方法，并为每个聚类生成摘要，随后通过分层合并形成最终摘要。
• 评估过程中为每个子集使用多个众包生成的参考摘要，以提升多样性并降低ROUGE指标中的偏差。
• 该框架基于Chen和Bansal（2018）的FAS模型实现，支持对完整评论集合的端到端训练与推理。

实验结果

研究问题

• RQ1 弱监督框架是否能有效训练摘要模型，以应对无法人工编写完整参考摘要的大规模产品评论集合？
• RQ2 仅对少量评论进行摘要是否会导致关键信息丢失并引发评估结果偏差？
• RQ3 基于集合中心的代表性评论能否作为有效弱监督信号，用于训练大规模数据集上的高质量摘要模型？
• RQ4 分层聚类与摘要生成流程如何影响最终摘要的一致性与质量？
• RQ5 为每个子集提供多个众包生成的参考摘要，是否能比单一人工编写参考摘要提供更稳健、更具代表性的评估？

主要发现

• 所提出的MMDS框架在ROUGE-2与ROUGE-L得分上显著优于多个基线模型，p值均≤0.05，表明具有统计显著性。
• 系统生成的摘要语言质量优异，各项平均得分分别为：语法正确性3.73分，非冗余性3.55分，指代清晰性3.86分，重点聚焦性3.86分，结构与连贯性3.73分。
• 在重点聚焦与结构连贯性方面，系统超越了Medoid-𝐹1基线，表明尽管使用的是模型生成的摘要，其叙事连贯性更优。
• 人工评估确认摘要具有良好的可读性与连贯性，性能接近人工撰写评论，尤其在重点聚焦与结构质量方面表现突出。
• 该框架成功处理了大规模评论集合（最多数万条评论），未观察到模型崩溃或训练不稳定性。
• 该方法在多种产品类别中均表现有效，包括电子产品、相机、玩具、图书与DVD，但FAS模型在音乐类商品上因内存限制而失败。