[论文解读] Disentangled Representations for Manipulation of Sentiment in Text

Maria Larsson, Amanda Nilsson+1 more|arXiv (Cornell University)|Dec 22, 2017

Topic Modeling参考文献 11被引用 8

一句话总结

该论文提出了一种通过最大均值差异（MMD）在连续嵌入空间中遍历句子表征，以实现文本语义内容与情感的解耦方法。通过使用卷积神经网络（CNN）编码句子，利用基于MMD的遍历方法调整其情感，再通过循环神经网络（RNN）解码，模型生成了语义稳定、情感改变但主题和核心含义保持不变的句子。

ABSTRACT

The ability to change arbitrary aspects of a text while leaving the core message intact could have a strong impact in fields like marketing and politics by enabling e.g. automatic optimization of message impact and personalized language adapted to the receiver's profile. In this paper we take a first step towards such a system by presenting an algorithm that can manipulate the sentiment of a text while preserving its semantics using disentangled representations. Validation is performed by examining trajectories in embedding space and analyzing transformed sentences for semantic preservation while expression of desired sentiment shift.

研究动机与目标

• 开发一种能够自动改变句子情感同时保持其核心语义和主题的系统。
• 探索解耦表征在不改变语义的前提下控制文本全局属性（如情感）的可行性。
• 评估该方法在情感转换后生成语义稳定、语法通顺的句子的能力。
• 证明在嵌入空间中沿流形遍历可实现有意义的情感转变，同时保持上下文连贯性。

提出的方法

• 使用带有word2vec嵌入的CNN进行句子编码，联合训练以实现情感分类和句子表征学习。
• 从CNN的全局最大池化层提取特征向量，作为连续的句子表征（z）。
• 利用MMD计算源（如负面）和目标（如正面）句子表征之间的遍历方向，以引导情感转变。
• 通过核化MMD目标计算遍历方向，使用高斯核比较特征分布。
• 使用训练好的RNN将遍历后的表征（z*）解码为自然语言句子。
• 该方法采用共享编码器-解码器架构，先在无标签句子上进行预训练，以提升语义编码效果。

实验结果

研究问题

• RQ1 解耦表征是否能够实现在保持语义内容不变的前提下对情感进行可控操控？
• RQ2 在情感转换过程中，基于MMD的遍历在在多大程度上保持了原始句子的主题和语义？
• RQ3 经过情感操控后，生成的句子在语法可接受性和连贯性方面表现如何？
• RQ4 当在不同主题间进行情感类别之间的遍历时，模型是否具备泛化能力？
• RQ5 当源集和目标集在主题构成上不同时，模型是否仍能生成语义稳定的输出？

主要发现

• 基于MMD的遍历成功实现了句子表征中的情感转变，将负面句子向正面聚类移动，反之亦然。
• 嵌入空间中的可视化显示，遍历后的向量与目标情感聚类对齐（例如，负面电影句子向正面电影聚类移动）。
• 从遍历表征生成的句子保留了原始主题和关键词，表明语义保持能力较强。
• 较短的句子编码和解码更可靠，表明句子长度影响模型性能。
• 尽管存在语法瑕疵，但生成的句子在情感转换后仍被判断为语义可接受且上下文连贯。
• 结果表明，解耦表征可实现不改变核心信息或主题的前提下，对情感进行可控且有意义的操控。