[论文解读] Eval all, trust a few, do wrong to none: Comparing sentence generation models

Ondřej Cífka, Aliaksei Severyn+2 more|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 18被引用 33

一句话总结

本文提出了一套严格的神经句子生成模型评估框架，通过自动评估与人工评估指标，对比了普通自编码器、变分自编码器和对抗正则化自编码器的表现。研究发现，简单的正则化技术——潜在码归一化与噪声注入——使具有球形先验的普通自编码器在重建性能上超越了当前最先进模型，同时保持了出色的生成质量。

ABSTRACT

In this paper, we study recent neural generative models for text generation related to variational autoencoders. Previous works have employed various techniques to control the prior distribution of the latent codes in these models, which is important for sampling performance, but little attention has been paid to reconstruction error. In our study, we follow a rigorous evaluation protocol using a large set of previously used and novel automatic and human evaluation metrics, applied to both generated samples and reconstructions. We hope that it will become the new evaluation standard when comparing neural generative models for text.

研究动机与目标

• 解决神经文本生成研究中缺乏标准化评估的问题，特别是针对重建和无条件生成任务。
• 研究正则化技术（潜在码归一化、噪声注入、dropout）对自编码器性能的影响。
• 在相同实验条件下对比多种自编码器变体（AE、VAE、AAE、ARAE），以分离模型行为差异。
• 通过自动指标与人工评估（针对生成样本和重建输入）建立生成模型的新基准。
• 提出Fréchet InferSent Distance作为评估文本生成质量的新型自动指标，灵感源自图像生成评估中的FID。

提出的方法

• 采用综合评估协议，结合自动指标（反向/正向交叉熵、FID、流畅度得分）与人工评估，针对生成句子和重建输入进行评估。
• 实现并对比五种自编码器模型：普通AE、变分VAE、对抗正则化ARAE，以及两种具有高斯先验和球形先验的对抗自编码器（AAE）变体。
• 使用潜在码归一化将嵌入约束在单位球面上，并在潜在表示中注入噪声，以提升泛化能力并避免模式崩溃。
• 在训练过程中使用RNN dropout以稳定潜在空间的学习并减少过拟合。
• 将图像生成中的Fréchet Inception Distance（FID）方法适配至文本领域，通过使用预训练的InferSent句向量计算真实与生成句向量分布之间的Fréchet距离。
• 使用t-SNE可视化学习到的潜在表示，以分析不同模型下句子编码的平滑性与可分性。

实验结果

研究问题

• RQ1 不同的正则化技术（如球形先验、噪声注入）如何影响基于自编码器的文本生成在重建准确率与生成质量方面表现？
• RQ2 与标准VAE相比，对抗训练和先验正则化在提升采样多样性与重建保真度方面有多大改善？
• RQ3 是否具有简单正则化的普通自编码器能够在重建与无条件生成任务中超越更复杂的模型（如VAEs与ARAEs）？
• RQ4 自动指标（如反向交叉熵与FID）与人工评估的流畅度与多样性之间相关性如何？
• RQ5 所提出的Fréchet InferSent Distance是否能有效捕捉真实与生成文本分布之间的分布相似性？

主要发现

• 具有球形先验的普通自编码器（AE-sph）在重建性能上表现最佳，显著优于VAEs与ARAEs。
• 当σ=0.1时，AE-sph在正向交叉熵上表现优异，FID值仅略高于表现最佳的VAE，表明其样本质量极佳。
• 尽管其反向交叉熵低于真实数据（表明存在模式崩溃），但AE-sph的反向交叉熵仍高于VAEs，说明其分布崩溃程度更轻。
• AE-sph的流畅度得分高于语言模型，仅被VAEs超越，表明其具有出色的生成质量。
• 对抗训练对球形先验模型的收益微乎其微（AAE-sph与AE-sph表现相近），表明噪声注入与归一化已足以实现优异性能。
• ARAE模型在重建得分上表现最佳，但在人工评估中表现较差，表明重建性能与样本质量之间存在权衡。