[论文解读] A Distributional Lens for Multi-Aspect Controllable Text Generation

Yuxuan Gu, Xiaocheng Feng+4 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用 4

一句话总结

该论文提出了一种分布式的多方面可控文本生成方法，通过在学习到的潜在空间中直接搜索属性分布的交集，利用自编码器和迭代优化来寻找组合属性区域。该方法在情感、主题和去毒化控制任务上均优于强基线模型，在属性相关性和文本质量方面取得了SOTA结果。

ABSTRACT

Multi-aspect controllable text generation is a more challenging and practical task than single-aspect control. Existing methods achieve complex multi-aspect control by fusing multiple controllers learned from single-aspect, but suffer from attribute degeneration caused by the mutual interference of these controllers. To address this, we provide observations on attribute fusion from a distributional perspective and propose to directly search for the intersection areas of multiple attribute distributions as their combination for generation. Our method first estimates the attribute space with an autoencoder structure. Afterward, we iteratively approach the intersections by jointly minimizing distances to points representing different attributes. Finally, we map them to attribute-relevant sentences with a prefix-tuning-based decoder. Experiments on the three-aspect control task, including sentiment, topic, and detoxification aspects, reveal that our method outperforms several strong baselines on attribute relevance and text quality and achieves the SOTA. Further analysis also supplies some explanatory support for the effectiveness of our approach.

研究动机与目标

• 解决现有融合方法中因控制器干扰导致的多方面文本生成中属性退化问题。
• 在潜在空间中建模复杂且非对称的属性分布，以更好地反映现实世界数据的模式。
• 直接搜索多个属性分布的交集作为目标生成点，而非依赖于分布中心的插值。
• 通过在所发现的交集点上使用基于前缀调优的解码器，提升多方面控制中的属性相关性和文本质量。
• 为分布视角在多方面文本生成中的有效性提供实证和分析支持。

提出的方法

• 使用自编码器结构将与属性相关的句子映射到共享潜在空间，以估计属性分布。
• 提出一种新颖的交集搜索算法，通过迭代最小化到每个属性代表性点的距离，导航长尾区域以定位紧密的交集。
• 引入方面差距损失，以减少不同方面之间分布的差异，提升潜在空间中的对齐程度。
• 基于前缀调优的解码器从潜在空间中搜索到的交集点生成流畅且符合属性要求的句子。
• 联合优化重建损失和方面差距损失，以保持语义保真度和分布一致性。
• 通过PCA进行的二维可视化揭示了属性分布的非凸性和偏斜性，支持直接交集搜索的必要性。

实验结果

研究问题

• RQ1 通过建模属性分布的交集而非插值中心，分布视角是否能改善多方面文本生成？
• RQ2 现实世界中的文本属性分布与高斯分布等对称假设有何不同？
• RQ3 在潜在空间中直接进行交集搜索是否比现有融合策略带来更好的属性相关性和文本质量？
• RQ4 非凸性和长尾属性分布在多大程度上挑战了基于插值的标准融合方法？
• RQ5 所提出的方法在多方面设置中如何处理控制器之间的相互干扰？

主要发现

• 所提方法在涉及情感、主题和去毒化属性的三方面控制任务中取得了SOTA性能。
• 实验表明，与强基线相比，该方法在属性相关性和文本质量方面均有显著提升，困惑度更低，Distinctness分数更高。
• 潜在空间的2D PCA可视化显示，属性分布具有非凸性和偏斜性，尤其在长尾区域表现明显，支持基于交集的搜索方法的必要性。
• 该方法通过避免对分布中心进行插值（可能位于真实交集区域之外）有效减少了属性退化。
• 分析结果证实，该方法所依赖的分布假设与潜在空间中观察到的数据模式高度吻合。
• 该方法对复杂的属性交互具有鲁棒性，并在生成文本中保持了高流畅性和多样性。