[论文解读] Controllable Paraphrase Generation with a Syntactic Exemplar

Mingda Chen, Qingming Tang+2 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling参考文献 56被引用 6

一句话总结

本文提出了一种新颖的可控释义生成框架，该框架使用句子示例来控制生成句子的句法结构，而非预定义的控制因子。该方法引入了一种具有解耦潜在变量的变分自编码器，分别用于语义和句法建模，通过词噪声、潜在词聚类编码和多任务学习进行增强，在新创建的人工标注数据集上，相较于基线模型，实现了更优的句法控制与解耦性能。

ABSTRACT

Prior work on controllable text generation usually assumes that the controlled attribute can take on one of a small set of values known a priori. In this work, we propose a novel task, where the syntax of a generated sentence is controlled rather by a sentential exemplar. To evaluate quantitatively with standard metrics, we create a novel dataset with human annotations. We also develop a variational model with a neural module specifically designed for capturing syntactic knowledge and several multitask training objectives to promote disentangled representation learning. Empirically, the proposed model is observed to achieve improvements over baselines and learn to capture desirable characteristics.

研究动机与目标

• 为解决先前可控文本生成方法依赖预定义控制值的局限性，提出一项新任务：通过句子示例控制句法结构。
• 构建一个新的人工标注数据集，包含语义输入、句法示例和参考输出，以支持句法可控释义生成的定量评估。
• 开发一种深度生成模型，具备语义与句法的解耦潜在表征，以提升控制能力与生成质量。
• 设计新颖的训练目标——词噪声与潜在词聚类编码，以增强句法表征学习，且无需依赖推理时的句法分析器。
• 评估模型生成语义忠实且句法对齐的释义的能力，同时分析其失败模式与可解释性。

提出的方法

• 提出一种变分自编码器（VAE），包含两个解耦的潜在变量：一个用于语义（y），一个用于句法（z），从而实现对语义与结构的独立控制。
• 引入一种多任务学习框架，联合优化释义生成、词序保持与句法相似性，句法相似性通过成分句法树的树编辑距离进行衡量。
• 在训练过程中应用词噪声，根据词性标签替换标记，以提升模型鲁棒性与句法泛化能力。
• 通过引入带有学习的潜在词聚类编码的瓶颈层，压缩句法表征，促进可解释的句法建模。
• 设计三种解码器变体——交换（swap）、拼接（concat）与初始化（init），评估其对生成质量的影响，其中交换变体表现最佳。
• 设计一种基于成分句法树之间树编辑距离的新型“句法相似性”度量（在去除内容词后计算），以评估结构保真度。

实验结果

研究问题

• RQ1 神经生成模型能否在不预先掌握所有可能句法模式的情况下，有效利用自由形式的句子示例控制句子句法结构？
• RQ2 在基于VAE的框架中，如何学习语义与句法的解耦表征，以实现更优的解耦性与可解释性？
• RQ3 词噪声与潜在词聚类编码在多大程度上提升了句法表征学习与生成质量？
• RQ4 与强基线模型SCP N相比，该模型在句法保真度与语义一致性方面的表现如何？
• RQ5 该模型的失败模式是什么？与现有句法可控生成模型相比有何异同？

主要发现

• 所提模型在BLEU、ROUGE与METEOR等标准指标上持续优于基线模型，其中最佳变体（交换解码器）在所有指标上均表现最优。
• 引入词位置损失与潜在词聚类编码的模型在句法相似性上取得显著提升（以树编辑距离衡量），表明句法控制能力更强。
• 潜在代码模块学习到了可解释的词聚类，表明模型以解耦方式捕捉了有意义的句法模式。
• 模型能够成功生成既保持输入语义又采用示例句法结构的释义，且无需推理时的句法分析器。
• 尽管有所改进，模型仍存在长度不匹配与代词不一致的问题，与SCP N类似，尤其当句法示例过短而无法充分表达语义内容时更为明显。
• 在极少数函数词在示例与参考中完全匹配的情况下，模型通过直接复制有用的函数词，表现优于SCP N，显示出在词汇保真度上的优势。