[论文解读] Controllable Text Generation.

Zhiting Hu, Zichao Yang+3 more|arXiv (Cornell University)|Mar 2, 2017

Topic Modeling参考文献 23被引用 78

一句话总结

本文提出一种神经生成模型，通过变分自编码器和整体属性判别器学习解耦的潜在表征，实现可控文本生成。通过引入离散文本的可微分近似以及对属性控制的显式约束，该模型即使仅基于词级标注，也能生成具有高可解释性和准确性的逼真、语义结构化的句子。

ABSTRACT

Generic generation and manipulation of text is challenging and has limited success compared to recent deep generative modeling in visual domain. This paper aims at generating plausible natural language sentences, whose attributes are dynamically controlled by learning disentangled latent representations with designated semantics. We propose a new neural generative model which combines variational auto-encoders and holistic attribute discriminators for effective imposition of semantic structures. With differentiable approximation to discrete text samples, explicit constraints on independent attribute controls, and efficient collaborative learning of generator and discriminators, our model learns highly interpretable representations from even only word annotations, and produces realistic sentences with desired attributes. Quantitative evaluation validates the accuracy of sentence and attribute generation.

研究动机与目标

• 解决在生成自然语言时对语义属性实现精确、动态控制的挑战。
• 从最小监督（如词标注）中学习高度可解释的解耦表征。
• 通过在独立属性控制上施加显式约束，提升文本生成质量。
• 实现生成器与判别器之间的有效协同训练，以强化语义结构。

提出的方法

• 该模型结合变分自编码器（VAEs）与整体属性判别器，以学习解耦的潜在表征。
• 采用对离散文本样本的可微分近似，实现潜在空间中的基于梯度的优化。
• 施加显式约束，以确保在生成过程中对各个属性实现独立控制。
• 通过协同训练生成器与判别器，以提升语义结构和真实性。
• 该框架即使仅使用词级标注作为属性监督，也能有效运行。

实验结果

研究问题

• RQ1 能否从最小监督（如词标注）中有效学习解耦的潜在表征？
• RQ2 该模型在精确控制特定属性的情况下，能否生成逼真的句子？
• RQ3 对属性独立性的显式约束在多大程度上提升了生成质量与可解释性？
• RQ4 生成器与判别器的协同训练在多大程度上增强了语义结构学习？

主要发现

• 该模型在生成句子及其指定属性方面均实现了高精度，验证了有效控制能力。
• 即使仅基于词级标注，也能成功学习解耦的潜在表征，实现可解释的控制。
• 对离散文本的可微分近似使得基于梯度的端到端训练成为可能。
• 对属性独立性的显式约束显著提升了生成过程中属性控制的可靠性与精确性。