[论文解读] Controllable Text Generation with Neurally-Decomposed Oracle

Tao Meng, Sidi Lu+2 more|arXiv (Cornell University)|May 27, 2022

Topic Modeling被引用 7

一句话总结

本文提出神经分解正向（NADO），一种通用且高效的可控文本生成框架，通过神经辅助模型将序列级正向函数分解为标记级指导。NADO 在预训练基础模型生成的样本上进行训练，无需微调即可实现精确、高质量的控制，在词汇约束和正式程度控制任务中取得最先进结果，BLEU 分数显著提升。

ABSTRACT

We propose a general and efficient framework to control auto-regressive generation models with NeurAlly-Decomposed Oracle (NADO). Given a pre-trained base language model and a sequence-level boolean oracle function, we propose to decompose the oracle function into token-level guidance to steer the base model in text generation. Specifically, the token-level guidance is approximated by a neural model trained with examples sampled from the base model, demanding no additional auxiliary labeled data. Based on posterior regularization, we present the closed-form optimal solution to incorporate the token-level guidance into the base model for controllable generation. We further provide a theoretical analysis of how the approximation quality of NADO affects the controllable generation results. Experiments conducted on two applications: (1) text generation with lexical constraints and (2) machine translation with formality control demonstrate that our framework efficiently guides the base model towards the given oracle while maintaining high generation quality.

研究动机与目标

• 为解决使用关键词或写作风格等序列级属性控制自回归语言模型的挑战。
• 开发一种通用框架，利用序列级正向信号指导生成，无需模型重构或微调。
• 通过使辅助指导模型与基础模型的分布对齐，提升生成质量和控制精度。
• 提供一种基于后验正则化的理论基础方法，以整合正向信号。
• 在多种控制任务中展示有效性，包括机器翻译中的词汇约束和正式程度控制。

提出的方法

• 该框架利用后验正则化，将序列级布尔正向函数分解为标记级指导，并推导出闭式最优解。
• 训练一个神经辅助模型 NADO，基于从基础模型采样的数据来近似标记级指导，无需外部标注数据。
• 在每个生成步骤中，使用 NADO 的指导对基础模型的输出分布进行重加权，以满足控制目标。
• NADO 训练为预测给定前缀和候选标记是否满足序列级正向条件，仅使用基础模型的输出和正向监督。
• 通过在基础模型的分布上训练 NADO，避免分布差异，确保更好的对齐和更精确的控制。
• 该方法采用贪婪解码，并利用温度采样以多样化 NADO 的训练数据。

实验结果

研究问题

• RQ1 神经辅助模型能否有效近似序列级正向函数，以实现可控文本生成？
• RQ2 NADO 的近似质量如何影响最终生成结果和控制保真度？
• RQ3 与使用事后分布偏移或需要外部标注数据的现有方法相比，NADO 是否能实现更优的控制和生成质量？
• RQ4 与分布外训练相比，在基础模型采样数据上训练 NADO 是否能改善对齐并减少分布差异？
• RQ5 该框架是否能无需模型微调即可在多种控制任务（如词汇约束和风格控制）中实现泛化？

主要发现

• 在词汇约束生成中，NADO 实现了近乎完美的关键词嵌入，相比先前方法 BLEU 分数提升 3 分。
• 在正式程度控制的机器翻译中，NADO 相比 FUDGE 提升了 3 点 BLEU 分数，同时保持或略微改善了正式程度得分。
• 尽管 NADO 与 FUDGE 使用相似的训练数据量和正向类型，NADO 仍表现更优，表明其具有更优的对齐和指导质量。
• 在 NADO 训练中使用温度采样提升了生成多样性和质量，最优性能出现在 T=5/4 时。
• 理论分析证实，更好的 NADO 近似可带来更准确、更有效的基础模型输出控制。
• 该框架具有鲁棒性和泛化能力，因其将基础模型和正向视为黑箱，无需架构修改即可应用于多种控制任务。