[论文解读] Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks

Yau-Shian Wang, Hung-yi Lee|arXiv (Cornell University)|Oct 5, 2018

Topic Modeling参考文献 22被引用 4

一句话总结

本文提出了一种基于GAN的自编码器，能够在无需文档-摘要配对数据的情况下，将文本压缩为人类可读的摘要。通过训练生成器生成简洁、自然的摘要，使其既能被重建器准确还原，又能通过判别器的判别而与真实人类写作难以区分，该模型实现了无监督抽象式摘要生成，并在英文和中文数据集上取得了优异的ROUGE分数。

ABSTRACT

Auto-encoders compress input data into a latent-space representation and reconstruct the original data from the representation. This latent representation is not easily interpreted by humans. In this paper, we propose training an auto-encoder that encodes input text into human-readable sentences, and unpaired abstractive summarization is thereby achieved. The auto-encoder is composed of a generator and a reconstructor. The generator encodes the input text into a shorter word sequence, and the reconstructor recovers the generator input from the generator output. To make the generator output human-readable, a discriminator restricts the output of the generator to resemble human-written sentences. By taking the generator output as the summary of the input text, abstractive summarization is achieved without document-summary pairs as training data. Promising results are shown on both English and Chinese corpora.

研究动机与目标

• 开发一种文本自编码器，将输入文本编码为人类可读的摘要作为潜在表示，而非不可解释的向量。
• 在不依赖文档-摘要配对训练数据的前提下，实现抽象式摘要生成。
• 通过判别器强制生成摘要的语言流畅性，从而提升摘要质量。
• 探索使用GAN训练序列到序列模型进行离散文本生成的可行性，克服在离散序列上训练的挑战。
• 在英文和中文语料库的零样本和迁移学习设置下评估模型性能。

提出的方法

• 模型使用生成器将输入文本编码为简短、人类可读的摘要序列。
• 重建器将生成器的输出解码以重建原始输入，最小化重建损失。
• 判别器被训练以区分真实人类书写的句子与生成器的输出，从而促进生成摘要的语言流畅性。
• 生成器通过对抗训练方式被训练以欺骗判别器，采用GAN框架生成更具真实感的摘要。
• 评估了两种GAN训练方法——WGAN和对抗性REINFORCE，以比较其训练稳定性和性能表现。
• 通过在源领域（如CNN/Daily Mail）上预训练判别器，并将其应用于目标领域（如English Gigaword），探索了迁移学习的应用。

实验结果

研究问题

• RQ1 序列到序列的自编码器是否能在无任何配对训练数据的情况下生成人类可读的摘要？
• RQ2 使用判别器进行对抗训练在提升生成摘要的流畅性和自然度方面有多有效？
• RQ3 当使用在不同数据集上预训练的判别器进行迁移学习时，模型在跨领域任务中是否具有泛化能力？
• RQ4 不同的GAN训练策略（如WGAN与REINFORCE）如何影响摘要质量和训练稳定性？
• RQ5 尽管缺乏监督，生成器的输出在多大程度上能作为有意义且富含信息的摘要？

主要发现

• 在中文Gigaword数据集上，该模型在对抗性REINFORCE训练下取得了具有竞争力的ROUGE分数，ROUGE-1为41.25，ROUGE-2为26.54，ROUGE-L为37.76。
• 即使没有配对数据，该模型也显著优于基线方法（如lead-15）和预训练生成器，证明了对抗训练的有效性。
• 在英文Gigaword数据集上，WGAN变体收敛速度更快，但性能略低于对抗性REINFORCE。
• 使用在CNN/Daily Mail上预训练的判别器进行迁移学习，性能优于仅使用预训练生成器，但由于领域分布差异，结果仍低于领域内训练。
• 生成器学会了提取核心内容并形成连贯的句子，尽管ROUGE-L分数低于监督基线，可能由于摘要长度和词汇量的限制。
• 该模型成功生成了既可重建又符合人类阅读习惯的摘要，验证了通过对抗训练实现无监督抽象式摘要的可行性。