[论文解读] Improving Disentangled Text Representation Learning with Information-Theoretic Guidance

Pengyu Cheng, Martin Renqiang Min+5 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 38被引用 4

一句话总结

该论文提出IDE L，一种新颖的信息论框架，通过最小化基于样本的互信息上界来减少风格与内容嵌入之间的依赖性，同时最大化与输入文本的互信息以保留语义内容，从而学习解耦的文本表征。该方法在风格迁移和条件生成任务中实现了最先进性能，展现出优异的解耦性与内容保留能力。

ABSTRACT

Learning disentangled representations of natural language is essential for many NLP tasks, e.g., conditional text generation, style transfer, personalized dialogue systems, etc. Similar problems have been studied extensively for other forms of data, such as images and videos. However, the discrete nature of natural language makes the disentangling of textual representations more challenging (e.g., the manipulation over the data space cannot be easily achieved). Inspired by information theory, we propose a novel method that effectively manifests disentangled representations of text, without any supervision on semantics. A new mutual information upper bound is derived and leveraged to measure dependence between style and content. By minimizing this upper bound, the proposed method induces style and content embeddings into two independent low-dimensional spaces. Experiments on both conditional text generation and text-style transfer demonstrate the high quality of our disentangled representation in terms of content and style preservation.

研究动机与目标

• 为解决自然语言中学习解耦表征的挑战，其中文本的离散性使得操控与解耦变得复杂。
• 开发一种自监督方法，无需人工标注或预定义风格类别即可分离风格与内容。
• 提出一种基于信息论的理论基础优化目标，确保风格与内容嵌入之间的依赖性较低。
• 通过最大化输入句子与潜在码之间的互信息，保留潜在表征中的语义内容。
• 在下游任务中实现风格迁移准确率与内容保留之间的平衡权衡。

提出的方法

• 提出一种基于变差信息（Variation of Information, VI）的新信息论目标，用于衡量并最小化风格与内容嵌入之间的依赖性。
• 推导出一种基于样本的互信息上界，以在训练过程中实现稳定且有效的嵌入相关性最小化。
• 将上界最小化与重建目标相结合，确保潜在表征保留关于输入句子的充分信息。
• 通过最大化输入文本与潜在表征之间的互信息，保留内容保真度。
• 采用基于变分自编码器的架构，配备独立的风格与内容编码器，通过所提目标端到端训练。
• 使用互信息上界的随机近似方法，以提升训练效率与模型性能。

实验结果

研究问题

• RQ1 无监督条件下，基于信息论的目标能否有效解耦自然语言中的风格与内容表征？
• RQ2 如何以可微且稳定的方式最小化离散文本数据中风格与内容嵌入之间的互信息？
• RQ3 在保留输入信息的同时最小化嵌入依赖性，是否能提升风格迁移与条件生成任务的性能？
• RQ4 风格迁移准确率与内容保留之间的权衡是什么？所提方法能否实现更优的平衡？
• RQ5 鉴于其自监督性质，该模型能否在无需微调的情况下泛化到未见的风格类别？

主要发现

• 在Yelp数据集上，IDE L在风格迁移任务中取得41.9的几何平均（GM）得分，优于强基线方法BT与ARAE。
• 在人工评估中，IDE L实现73.7%的风格准确率与3.69/5的内容保留得分，优于CtrlGen、CAAE与ARAE。
• 消融实验表明，若移除互信息上界（IDEL -），风格迁移准确率显著下降，证实其关键作用。
• 添加互信息项I(s;y)可提升风格迁移准确率，但损害内容保留；而I(c;x)则通过牺牲风格准确率提升内容保真度，表明存在明确的权衡。
• 随机变体（IDEL*）优于闭式解（IDEL∗），表明随机估计可同时提升训练速度与模型性能。
• IDE L在保持强大风格迁移性能的同时，实现了较高的BLEU与S-BLEU得分，表明其解耦表征具有良好的平衡性与高质量。