[论文解读] Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

Ke Wang, Hang Hua+1 more|arXiv (Cornell University)|May 30, 2019

Topic Modeling参考文献 42被引用 44

一句话总结

该论文提出了一种基于 Transformer 的自编码器，它学习文本的纠缠潜在表示，并使用 Fast-Gradient-Iterative-Modification (FGIM) 算法对其进行编辑，以实现可控、无监督的文本属性转移，包括多属性和程度控制能力。

ABSTRACT

Unsupervised text attribute transfer automatically transforms a text to alter a specific attribute (e.g. sentiment) without using any parallel data, while simultaneously preserving its attribute-independent content. The dominant approaches are trying to model the content-independent attribute separately, e.g., learning different attributes' representations or using multiple attribute-specific decoders. However, it may lead to inflexibility from the perspective of controlling the degree of transfer or transferring over multiple aspects at the same time. To address the above problems, we propose a more flexible unsupervised text attribute transfer framework which replaces the process of modeling attribute with minimal editing of latent representations based on an attribute classifier. Specifically, we first propose a Transformer-based autoencoder to learn an entangled latent representation for a discrete text, then we transform the attribute transfer task to an optimization problem and propose the Fast-Gradient-Iterative-Modification algorithm to edit the latent representation until conforming to the target attribute. Extensive experimental results demonstrate that our model achieves very competitive performance on three public data sets. Furthermore, we also show that our model can not only control the degree of transfer freely but also allow to transfer over multiple aspects at the same time.

研究动机与目标

• 在没有平行数据的情况下，推动灵活的无监督文本属性转移。
• 在实现目标属性一致性的同时，保持属性无关内容的保留。
• 保持生成文本的流畅性与自然性。
• 实现对属性转移程度的控制，以及多属性转移的能力。

提出的方法

• 构建基于 Transformer 的自编码器，以学习文本的纠缠潜在表示。
• 在潜在编码上训练一个单独的属性分类器以引导编辑。
• 将属性转移表述为寻找最近的 z'，使分类器对 z' 给出目标属性的过程。
• 使用分类器提供的梯度方向，通过 Fast-Gradient-Iterative-Modification (FGIM) 算法编辑潜在编码 z。
• 通过自编码器解码器从编辑后的潜在表示重新生成目标文本。
• 在自编码器损失中使用标签平滑，以改善重建偏差。
• 采用多次尝试、衰减基准的策略动态选择修改权重，避免局部最优。

实验结果

研究问题

• RQ1 纠缠潜在表示是否能在不分离内容与风格的前提下支持可控属性转移？
• RQ2 基于梯度的潜在空间编辑方法是否在保留内容的同时实现准确且流畅的属性转移？
• RQ3 在多属性与可调转移程度方面，相较现有的基于解耦的方法，是否提高了灵活性？

主要发现

Methods	Yelp Acc	Yelp BLEU	Yelp PPL	Amazon Acc	Amazon BLEU	Amazon PPL	Captions Acc	Captions BLEU	Captions PPL
CrossAlign [28]	72.3%	9.1	50.8	70.3%	1.9	66.2	78.3%	1.8	69.8
MultiDec [5]	50.2%	14.5	84.5	67.3%	9.1	60.3	68.3%	6.6	60.2
StyleEmb [5]	10.2%	21.1	47.9	43.6%	15.1	60.1	56.2%	8.8	57.1
CycleRL [38]	53.6%	18.8	98.2	52.3%	14.4	183.2	45.2%	5.8	50.3
BackTrans [26]	93.4%	2.5	49.5	84.6%	1.5	48.3	78.3%	1.6	68.3
RuleBase [17]	80.3%	22.6	66.6	67.8%	33.6	52.1	85.3%	19.2	35.6
DelRetrGen [17]	88.8%	16.0	49.6	51.2%	29.3	55.4	90.4%	12.0	33.4
UnsupMT [41]	95.2%	22.8	53.9	84.2%	33.9	57.9	95.5%	12.7	31.2
Ours	95.4%	24.6	46.2	85.3%	34.1	47.4	92.3%	17.6	23.7

• 该模型在三个数据集上，在自动评估指标（Acc、BLEU、PPL）方面相比八个基线具有竞争力甚至更优的表现。
• 方法在属性准确性和流畅性方面表现出色，并得到人类评估的内容保留度的强力支持。
• 它支持跨多方面转移属性，并通过修改权重实现转移程度的可变。
• 在啤酒评测数据集上的多方面情感转移，显示出在外观、香气、口感、味道以及总体维度上的高准确性。
• 该方法在保持流畅性和内容方面优于若干基线，同时实现强转移效果。