[论文解读] Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression

Tong Niu, Caiming Xiong+1 more|arXiv (Cornell University)|Sep 7, 2019

Natural Language Processing Techniques参考文献 19被引用 8

一句话总结

Deleter 是一种完全无监督的文本压缩模型，利用 BERT 逐步、贪婪地从句子中删除标记，生成一系列逐步压缩的连贯句子。该模型在抽取式句子压缩任务上实现了与有监督最先进模型相当的性能，在信息量和可读性的人工评估中表现更优，且无需并行数据或任务特定架构。

ABSTRACT

Text compression has diverse applications such as Summarization, Reading Comprehension and Text Editing. However, almost all existing approaches require either hand-crafted features, syntactic labels or parallel data. Even for one that achieves this task in an unsupervised setting, its architecture necessitates a task-specific autoencoder. Moreover, these models only generate one compressed sentence for each source input, so that adapting to different style requirements (e.g. length) for the final output usually implies retraining the model from scratch. In this work, we propose a fully unsupervised model, Deleter, that is able to discover an "optimal deletion path" for an arbitrary sentence, where each intermediate sequence along the path is a coherent subsequence of the previous one. This approach relies exclusively on a pretrained bidirectional language model (BERT) to score each candidate deletion based on the average Perplexity of the resulting sentence and performs progressive greedy lookahead search to select the best deletion for each step. We apply Deleter to the task of extractive Sentence Compression, and found that our model is competitive with state-of-the-art supervised models trained on 1.02 million in-domain examples with similar compression ratio. Qualitative analysis, as well as automatic and human evaluations both verify that our model produces high-quality compression.

研究动机与目标

• 开发一种完全无监督的文本压缩方法，无需并行数据、手工设计特征或句法标签。
• 通过暴露完整的删除路径，实现灵活的压缩，从而控制压缩比率并保留关键术语。
• 仅使用预训练语言模型（BERT）实现高质量压缩，无需任务特定微调或自编码器。
• 提供可控、可解释的压缩过程，支持动态数据增强和对抗性样本生成。

提出的方法

• Deleter 将句子压缩建模为在有向无环图中寻找最优删除路径的问题，其中每个节点是原句的一个子序列。
• 它利用 BERT 通过计算结果句子的平均困惑度（AvgPPL）来评分每个候选删除操作，并引入长度校正项以防止对罕见词产生偏差。
• 该模型采用渐进式贪婪前瞻搜索，迭代选择能使路径中所有中间句子的平均 AvgPPL 最小化的删除操作。
• 每个删除步骤可一次性移除多个标记，且该过程确保所有中间句子保持语法连贯性。
• 该方法仅依赖 BERT 的语言建模能力，无需任何微调或辅助监督。
• 删除路径提供了多个有效的压缩输出，从而实现对压缩比率和关键术语保留的控制。

实验结果

研究问题

• RQ1 完全无监督的模型是否能在不使用并行数据或句法标注的情况下实现与现有方法相当的句子压缩性能？
• RQ2 基于 BERT 的模型是否能通过迭代删除发现一系列语法连贯、逐步压缩的句子？
• RQ3 与单输出模型相比，暴露完整删除路径是否能提升文本压缩的可解释性和可控性？
• RQ4 基于困惑度评分的无监督模型在抽取式句子压缩任务上的性能与有监督最先进模型相比如何？
• RQ5 删除路径是否可用于下游应用，如数据增强或对抗性样本生成？

主要发现

• 在 Gigaword 数据集上，Deleter 的 F1 分数达到 54.0（标注者 #1）和 62.6（标注者 #2），尽管是无监督方法，仍优于有监督模型（如带注意力机制的 Seq2seq 和 LSTMs）。
• 人工评估显示，Deleter 的压缩结果在可读性（2.88）上接近标注者 #1（3.01），在信息量（2.95）上接近标注者 #1（3.21），仅与标注者 #2（3.56）存在显著差距。
• 在 Google Compression 数据集上，Deleter 的 F1 得分为 50.0，虽低于有监督模型，但在缺乏监督且数据集本身具有挑战性（人类编辑的压缩）的前提下，仍具有竞争力。
• 该模型能够暴露完整的删除路径，从而实现对压缩比率和关键术语保留的细粒度控制，这是单输出模型难以实现的。
• 该方法对删除引起的语义偏移（如否定词）具有鲁棒性，表明未来需整合语义一致性检查。
• 该方法在数据增强和对抗性样本生成方面展现出强大潜力，可通过沿删除路径采样中间句子实现。