[论文解读] Generating Sentences from Disentangled Syntactic and Semantic Spaces

Yu Bao, Hao Zhou+6 more|arXiv (Cornell University)|Jul 6, 2019

Topic Modeling参考文献 38被引用 13

一句话总结

该论文提出DSS-VAE，一种变分自编码器，可在连续潜在空间中解耦句法与语义表征，通过线性化树结构序列实现句法的显式建模。通过引入对抗性正则化和独立的潜在空间，DSS-VAE提升了句子生成质量，并支持新型应用如无监督改写与句法迁移生成，在重建任务和零样本生成任务中均优于基线模型。

ABSTRACT

Variational auto-encoders (VAEs) are widely used in natural language generation due to the regularization of the latent space. However, generating sentences from the continuous latent space does not explicitly model the syntactic information. In this paper, we propose to generate sentences from disentangled syntactic and semantic spaces. Our proposed method explicitly models syntactic information in the VAE's latent space by using the linearized tree sequence, leading to better performance of language generation. Additionally, the advantage of sampling in the disentangled syntactic and semantic latent spaces enables us to perform novel applications, such as the unsupervised paraphrase generation and syntax-transfer generation. Experimental results show that our proposed model achieves similar or better performance in various tasks, compared with state-of-the-art related work.

研究动机与目标

• 为解决传统变分自编码器在潜在空间中混合句法与语义信息的局限性，该局限性阻碍了对句法的显式控制。
• 实现在连续潜在空间中对句法进行采样与操作，同时保留变分自编码器的优势，并显式建模句法结构。
• 开发新型应用，如无需平行语料的无监督改写生成与句法迁移生成。
• 通过在潜在空间中解耦语义与句法，提升无条件语言生成的质量。
• 验证在句法与语义空间之间应用对抗性正则化可增强解耦效果与生成性能。

提出的方法

• DSS-VAE引入两个独立的连续潜在变量：一个用于语义（$\bm{z}_{\text{sem}}$），一个用于句法（$\bm{z}_{\text{syn}}$），通过独立的推理网络学习。
• 句法通过依赖或成分解析生成的线性化树序列进行编码，实现在潜在空间中的结构建模。
• 在语义与句法空间中均应用对抗性训练，使用判别器强制实现解耦并防止信息泄露。
• 引入对抗性重建损失（$\mathcal{L}^{\text{(adv)}}_{\text{rec}}$），以正则化潜在空间，确保每个空间仅捕获其目标信息。
• 在生成阶段，模型可独立从$\bm{z}_{\text{sem}}$与$\bm{z}_{\text{syn}}$采样，或使用MAP推断操纵特定属性（如保持语义不变而改变句法）。
• 通过将一个句子的语义向量与另一个句子的句法向量结合，实现句法迁移生成，使用$\bm{z}^*_{\text{sem}} = \arg\max q(\bm{z}_{\text{sem}}|\bm{x}_2)$与$\bm{z}^*_{\text{syn}} = \arg\max q(\bm{z}_{\text{syn}}|\bm{x}_1)$。

实验结果

研究问题

• RQ1 在变分自编码器的连续潜在空间中显式建模句法，是否能提升无条件句子生成的质量？
• RQ2 解耦的句法与语义空间是否能实现有效的无监督改写生成，且无需平行数据？
• RQ3 仅通过潜在空间操作，能否实现句子间句法结构的迁移生成？
• RQ4 在语义与句法空间之间应用对抗性正则化是否能增强解耦效果与生成性能？
• RQ5 在句法迁移生成过程中，模型在语义保真度与句法新颖性之间的平衡表现如何？

主要发现

• 与标准变分自编码器相比，DSS-VAE在无条件生成中实现了更低的困惑度与更高的BLEU分数，表明其流畅性与重建质量更优。
• 在无监督改写生成任务中，DSS-VAE优于标准变分自编码器与马尔可夫链蒙特卡洛采样基线，展现出更优的改写质量。
• 完整版DSS-VAE在$\Delta$词级BLEU与$\Delta$TED的总差异上达到最高，表明在句法迁移生成中实现了语义相似性与句法新颖性的最佳平衡。
• 引入对抗性重建损失使生成性能的总差异提升了12.09，证实其在增强解耦效果方面的有效性。
• 在句法结构不兼容的句子之间（如长度差异极大）进行句法迁移时，结果不够理想，表明结构兼容性影响迁移成功率。
• 模型成功将一个句子的句法嫁接到另一个句子的语义上，生成了语义连贯且句法新颖的输出，经自动评估与定性分析均得到验证。