[论文解读] Incorporating Pseudo-Parallel Data for Quantifiable Sequence Editing.

Yi Liao, Lidong Bing+4 more|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 19被引用 1

一句话总结

本文提出了一种可度量序列编辑（QuaSE）框架，利用伪并行句子对将结果相关因素与内容解耦，从而提高生成准确性。通过采用双重重建结构，该模型在Yelp评论数据集上实现了最先进性能，在情感极性准确率和目标值误差方面均优于先前方法。

ABSTRACT

In the task of quantifiable sequence editing (QuaSE), a model needs to edit an input sentence to generate an output that satisfies a given outcome, which is a numerical value measuring a certain property of the output. For example, for review sentences, the outcome could be review ratings; for advertisement, the outcome could be click-through rate. We propose a framework which performs QuaSE by incorporating pseudo-parallel data. Our framework can capture the content similarity and the outcome differences by exploiting pseudo-parallel sentence pairs, which enables a better disentanglement of the latent factors that are relevant to the outcome and thus provides a solid basis to generate output satisfying the desired outcome. The dual reconstruction structure further enhances the capability of generating expected output by exploiting the coupling of latent factors of pseudo-parallel sentences. We prepare a dataset of Yelp review sentences with the ratings as outcome. Experimental results show that our framework can outperform state-of-the-art methods under both sentiment polarity accuracy and target value errors.

研究动机与目标

• 为解决生成文本精确满足特定数值结果（如特定评分或点击率）的挑战。
• 改善文本生成中结果相关因素与内容因素的解耦。
• 开发一种方法，利用伪并行句子对来建模内容相似性与结果差异性。
• 通过双重重建机制利用潜在因子耦合，提升生成质量。

提出的方法

• 该框架构建伪并行句子对，以表示内容一致但结果不同的输入-输出编辑。
• 采用双重重建结构，确保成对句子在内容和结果因素上的一致性。
• 通过联合优化内容保持与结果对齐，学习解耦的潜在表征。
• 利用伪并行对中潜在因子的耦合关系，提升生成保真度与结果控制能力。
• 框架通过重建损失（保持内容）和预测损失（与目标结果对齐）进行端到端训练。
• 该方法在新构建的Yelp评论数据集上进行评估，以评分作为结果度量指标。

实验结果

研究问题

• RQ1 伪并行数据能否提升序列编辑中结果相关因素的解耦效果？
• RQ2 双重重建结构在文本生成中能否有效增强结果控制与内容保持？
• RQ3 通过伪并行对引入结果感知监督，是否能相比最先进方法提升目标结果准确率？
• RQ4 该模型在序列编辑中对未见结果值的泛化能力如何？

主要发现

• 所提框架在Yelp评论数据集上的情感极性准确率方面优于最先进方法。
• 与现有方法相比，该模型实现了更低的目标值误差，表明结果控制精度更高。
• 双重重建机制有效增强了内容与结果因素的解耦。
• 使用伪并行数据显著提升了模型生成匹配期望数值结果输出的能力。
• 该框架在多种结果值上表现出稳健性能，表明具备强大的泛化能力。
• 结果证实，通过双重重建利用潜在因子耦合可有效提升生成质量与结果对齐度。