[论文解读] Align then Summarize: Automatic Alignment Methods for Summarization Corpus Creation

Paul Tardy, David Janiszek+2 more|arXiv (Cornell University)|Jul 15, 2020

Topic Modeling参考文献 24被引用 6

一句话总结

本文提出一种自举方法，自动对齐会议转录文本与其对应报告，从而实现神经文本摘要的大规模数据收集。通过迭代地利用人工反馈优化预对齐结果，该方法显著减少了标注工作量，并在公开的 meeting 数据集上使摘要性能提升近 +4 ROUGE 分点。

ABSTRACT

Summarizing texts is not a straightforward task. Before even considering text summarization, one should determine what kind of summary is expected. How much should the information be compressed? Is it relevant to reformulate or should the summary stick to the original phrasing? State-of-the-art on automatic text summarization mostly revolves around news articles. We suggest that considering a wider variety of tasks would lead to an improvement in the field, in terms of generalization and robustness. We explore meeting summarization: generating reports from automatic transcriptions. Our work consists in segmenting and aligning transcriptions with respect to reports, to get a suitable dataset for neural summarization. Using a bootstrapping approach, we provide pre-alignments that are corrected by human annotators, making a validation set against which we evaluate automatic models. This consistently reduces annotators' efforts by providing iteratively better pre-alignment and maximizes the corpus size by using annotations from our automatic alignment models. Evaluation is conducted on \publicmeetings, a novel corpus of aligned public meetings. We report automatic alignment and summarization performances on this corpus and show that automatic alignment is relevant for data annotation since it leads to large improvement of almost +4 on all ROUGE scores on the summarization task.

研究动机与目标

• 通过聚焦于需要生成性、高差异性摘要的会议数据，解决自动文本摘要领域缺乏多样化、非新闻类数据集的问题。
• 通过使用可迭代改进的自动预对齐模型，减少创建对齐摘要语料库所需的人工标注工作量。
• 开发一个可扩展的流水线，结合自动对齐与人工干预优化，创建大规模、高质量的摘要数据集。
• 利用新发布的公开语料库，评估自动生成对齐结果对下游神经摘要模型性能的影响。
• 证明自动对齐可显著提升摘要模型性能，且不损害生成质量。

提出的方法

• 在说话人切换点对会议转录文本进行切分，生成用于对齐的离散单元。
• 采用自举循环机制：使用基于嵌入的相似性生成初始自动对齐结果，随后通过人工标注进行迭代优化。
• 利用词级别和片段级别的相似性度量（如词准确率、WindowDiff）评估对齐质量。
• 在标准人工标注对与自动对齐对上分别训练神经摘要模型，以比较性能差异。
• 在评估过程中引入过滤机制，标记并排除无关的转录片段，以确保比较的公平性。
• 在对齐过程中使用公开可用的词嵌入（Fauconnier, 2015）进行语义匹配。

实验结果

研究问题

• RQ1 自动对齐方法是否能在保持高质量对齐的同时显著减少人工标注工作量，适用于会议摘要任务？
• RQ2 与标准人工标注数据相比，使用自动对齐数据在多大程度上能提升神经摘要模型的性能？
• RQ3 通过人工反馈对预对齐结果进行迭代优化，如何影响对齐的准确率与效率？
• RQ4 无关转录片段对对齐质量有何影响？在评估中应如何有效处理此类片段？
• RQ5 是否可利用对齐置信度分数对低质量自动标注进行过滤，以提升下游摘要任务的性能？

主要发现

• 所提出的自举方法显著降低了人工标注者的工作负担，人工标注对齐准确率从首次迭代的 18.63% 提升至最终迭代的 72.67%。
• 利用自动对齐结果扩展训练数据后，在公开的 meeting 测试集上，所有指标（R1、R2、RL）的性能均稳定提升近 +4 ROUGE 分点。
• 包含 21,000 个标准人工标注对与 70,000 个自动对齐训练对的 public_meetings 语料库，为对齐与摘要模型的稳健评估提供了支持。
• 当排除无关片段后，词准确率下降 4.7%，表明此类片段显著影响对齐评估，必须在评估中予以考虑。
• 在最终验证集上，自动对齐模型在片段级别达到 72.67% 的准确率，证明其在真实会议数据上的强大性能。
• 该方法通过结合自动对齐与最小程度的人工校正，成功支持了大规模、高质量摘要数据集的构建。