[论文解读] Extractive Summary as Discrete Latent Variables

Aran Komatsuzaki|arXiv (Cornell University)|Nov 14, 2018

Natural Language Processing Techniques参考文献 39被引用 4

一句话总结

本文提出将抽取式摘要作为离散潜在变量用于文本压缩，表明简单的方法如tf-idf和双向语言模型（bi-LM）损失排序优于最先进的VQ-VAE在文本压缩中的表现。关键发现是语言本身作为一种强大的自压缩编码，少量高信息量的词元即可实现高效的分层生成。

ABSTRACT

In this paper, we compare various methods to compress a text using a neural model. We find that extracting tokens as latent variables significantly outperforms the state-of-the-art discrete latent variable models such as VQ-VAE. Furthermore, we compare various extractive compression schemes. There are two best-performing methods that perform equally. One method is to simply choose the tokens with the highest tf-idf scores. Another is to train a bidirectional language model similar to ELMo and choose the tokens with the highest loss. If we consider any subsequence of a text to be a text in a broader sense, we conclude that language is a strong compression code of itself. Our finding justifies the high quality of generation achieved with hierarchical method, as their latent variables are nothing but natural language summary. We also conclude that there is a hierarchy in language such that an entire text can be predicted much more easily based on a sequence of a small number of keywords, which can be easily found by classical methods as tf-idf. We speculate that this extraction process may be useful for unsupervised hierarchical text generation.

研究动机与目标

• 通过探索抽取式压缩作为生成高质量潜在变量的方法，以改进无监督序列生成。
• 研究抽取式方法是否能在文本压缩中超越像VQ-VAE这样的学习离散潜在变量模型。
• 评估语言本质上作为压缩编码的假设，即少数关键词元可总结文本其余部分。
• 探索抽取式方法作为无监督分层文本生成基础的潜力。
• 确定简单的经典方法（如tf-idf）是否能与复杂神经模型在识别信息量高的摘要词元方面表现相当或更优。

提出的方法

• 通过从输入序列中选择一组词元来表示全文，将抽取式摘要用作离散潜在变量。
• 比较两种抽取式方法：选择tf-idf得分最高的词元，以及选择双向语言模型中损失最高的词元。
• 采用分层生成框架，其中语言模型在给定提取词元的条件下生成完整序列。
• 使用条件困惑度（log-ppl）作为主要指标评估压缩性能。
• 训练一个bi-LM以计算每个词元的损失，并利用该得分对词元进行排序并提取最具信息量的词元。
• 采用与先前工作（如Fan et al., 2018）相同的评估协议，以确保与最先进模型的公平比较。

实验结果

研究问题

• RQ1 抽取式摘要方法是否能在文本压缩中超越像VQ-VAE这样的学习离散潜在变量模型？
• RQ2 在识别信息量高的摘要词元方面，简单经典方法（如tf-idf）与复杂神经模型之间是否存在显著性能差距？
• RQ3 在多大程度上，语言可作为自压缩编码，即少量关键词能预测文本其余部分？
• RQ4 抽取式方法能否作为无监督分层文本生成的有效且可扩展的潜在变量？
• RQ5 分层生成的性能是否依赖于提取的潜在表示质量？如果是，不同提取方法之间的表现如何比较？

主要发现

• tf-idf和基于bi-LM损失的抽取方法分别实现了最低的测试log-困惑度（2.32和2.36），显著优于VQ-VAE（3.08）。
• bi-LM方法实现了2.32的log-ppl，比随机选择（2.84）低0.52，表明对信息量高的词元具有很强的敏感性。
• tf-idf和bi-LM的性能几乎完全相同，表明两种方法识别出相似的、高信息量的词元。
• +tf-idf和+bi-LM模型的表现甚至优于+VQ-VAE和+RL基线，后者表现与VQ-VAE相当。
• 结果表明，语言表现出分层结构，少量关键词包含不成比例的高信息量，从而实现有效压缩。
• 该研究支持语言本质上作为强压缩编码的假设，即一组关键词可高精度预测完整文本，从而解释分层生成模型的成功。