[论文解读] CoCon: A Self-Supervised Approach for Controlled Text Generation

Alvin Chan, Yew-Soon Ong+3 more|PolyPublie (École Polytechnique de Montréal)|Jun 5, 2020

Topic Modeling参考文献 33被引用 16

一句话总结

CoCon 提出了一种自监督方法，通过插入一个轻量级的 CoCon 模块，使预训练语言模型能够实现细粒度、内容条件化的文本生成。该方法在不微调基础语言模型或需要标注数据的情况下，实现了对情感、主题等高层属性的零样本控制，同时保持了较高的内容保真度。

ABSTRACT

Pretrained Transformer-based language models (LMs) display remarkable natural language generation capabilities. With their immense potential, controlling text generation of such LMs is getting attention. While there are studies that seek to control high-level attributes (such as sentiment and topic) of generated text, there is still a lack of more precise control over its content at the word- and phrase-level. Here, we propose Content-Conditioner (CoCon) to control an LM's output text with a content input, at a fine-grained level. In our self-supervised approach, the CoCon block learns to help the LM complete a partially-observed text sequence by conditioning with content inputs that are withheld from the LM. Through experiments, we show that CoCon can naturally incorporate target content into generated texts and control high-level text attributes in a zero-shot manner.

研究动机与目标

• 解决现有可控文本生成方法在词级和短语级控制方面的不足。
• 在不微调预训练语言模型的前提下，以零样本方式实现对高层属性（如情感、主题）的控制。
• 开发一种自监督训练方法，消除对标注数据或预定义属性编码的依赖。
• 设计一种模块化、轻量级的适配器（CoCon 模块），可无缝插入任意预训练 Transformer 语言模型中。

提出的方法

• 引入 CoCon 模块，使其关注内容输入，并在生成前对预训练语言模型的隐藏状态进行条件化。
• 采用自重建目标：将序列分为两部分，模型学习利用第一部分作为内容输入来重建第二部分。
• 在训练期间应用内容掩码，防止直接访问目标序列，迫使 CoCon 模块学习推断并基于内容进行条件化。
• 采用循环重建损失，使模型能从不同来源的内容中进行条件化，同时保持生成质量。
• 在推理过程中引入可学习的内容偏置项，灵活调节内容条件化的强度。
• 仅训练 CoCon 模块，冻结预训练语言模型的权重，显著降低训练成本。

实验结果

研究问题

• RQ1 自监督方法是否能有效实现预训练语言模型的细粒度内容控制，而无需微调？
• RQ2 CoCon 在零样本设置下，对情感、主题等高层属性的控制能力有多强？
• RQ3 与强基线方法 PPLM 和 CTRL 相比，CoCon 的内容条件化在内容保真度和属性控制方面表现如何？
• RQ4 CoCon 是否能灵活处理多个内容输入，并在推理时通过偏置项调节条件化强度？
• RQ5 CoCon 的自监督预训练是否能在多样化的生成任务和内容类型上实现良好泛化？

主要发现

• CoCon 实现了强大的内容保真度，生成文本与提供的内容输入高度一致，ROUGE 和 BERTScore 指标均表现优异。
• 该方法实现了对情感、主题等高层属性的零样本控制，在属性控制方面优于 PPLM 和 CTRL，同时保持了良好的内容对齐。
• 与 PPLM 和 CTRL 不同，CoCon 的自监督预训练消除了对标注数据或预定义属性编码的依赖。
• 消融实验证实 CoCon 模块对内容条件化至关重要，且内容偏置项可实现推理时条件化强度的灵活调节。
• 该模型在多样化的内容输入和生成任务上表现出良好泛化能力，包括多输入条件化和复杂属性组合。