[论文解读] Unsupervised Text Generation by Learning from Search

Jingjing Li, Zichao Li+4 more|arXiv (Cornell University)|Jul 9, 2020

Topic Modeling参考文献 54被引用 31

一句话总结

tgls 将强大的模拟退火搜索与一个可学习的基于 GPT2 的生成器结合起来，在无监督文本生成中实现了最先进的结果，在改写生成方面达到 state-of-the-art，并在文本正式化方面具有竞争力。

ABSTRACT

In this work, we present TGLS, a novel framework to unsupervised Text Generation by Learning from Search. We start by applying a strong search algorithm (in particular, simulated annealing) towards a heuristically defined objective that (roughly) estimates the quality of sentences. Then, a conditional generative model learns from the search results, and meanwhile smooth out the noise of search. The alternation between search and learning can be repeated for performance bootstrapping. We demonstrate the effectiveness of TGLS on two real-world natural language generation tasks, paraphrase generation and text formalization. Our model significantly outperforms unsupervised baseline methods in both tasks. Especially, it achieves comparable performance with the state-of-the-art supervised methods in paraphrase generation.

研究动机与目标

• 解决在没有并行数据的情况下进行无监督文本生成的挑战。
• 提出一个学习自搜索的框架（tgls），该框架交替进行 SA 搜索与神经网络学习。
• 在 tgls 中利用大型预训练模型（GPT-2 用于流畅性，RoBERTa 用于语义）。
• 证明在改写生成和文本正式化任务上的有效性。
• 展示迭代的搜索-学习循环如何提升性能并提高推理效率。

提出的方法

• 使用带有神经提案的模拟退火（SA）来探索句子空间。
• 定义一个专家乘积评分函数，将流畅性（s_lm）和语义（s_semantic）以及任务特定评估（s_task）结合起来。
• 在 SA 生成的伪参考上微调 GPT-2，使用词级交叉熵损失（CE）。
• 采用基于 RoBERTa 的词级和句子级语义评估器来指导搜索和评分。
• 在第二阶段，执行束搜索以初始化 SA，并应用序列级最大边际（MM）学习，使用正负样本来微调 GPT-2。
• 在推理阶段，部署无需 SA 的微调后 GPT-2 以自回归方式生成文本。
• 结合两个预训练模型：GPT-2 用于 likelihood/fl uency 和 RoBERTa 用于语义评估和词级预测。

实验结果

研究问题

• RQ1 一个无监督文本生成是否能够通过学习搜索结果达到具有竞争力的性能？
• RQ2 搜索与学习的迭代循环是否能在单阶段方法之外提升生成质量？
• RQ3 如何将大型预训练模型有效地整合到基于搜索的无监督生成框架中？
• RQ4 该框架在改写生成和文本正式化任务中的鲁棒性如何？

主要发现

方法	iBLEU	BLEU
SA	14.52	21.08
SA + CE	14.97	23.25
SA + CE + SA	15.41	21.48
SA + CE + SA + CE	15.70	21.70
SA + CE + SA + MM (full)	17.48	25.00
tgls w/ PLM (Ours)	N/A	N/A

• tgls 在改写生成任务上达到 iBLEU 17.48 和 BLEU 25.00，创造了该任务的无监督状态-of-the-art。
• tgls 超越了以往的无监督方法，在改写生成中接近有监督的性能（相对于监督有 1.71 的 iBLEU 差距）。
• 在文本正式化方面，tgls 在 GYAFC 风格设定上优于现有的无监督基线，尽管有监督方法仍占据领先地位。
• 消融研究表明 CE 学习可以提升 SA 的结果，MM 学习在与 SA 搭配的第二阶段时提供更强的增益。
• 带着学习后的 GPT-2 进行推理（无 SA）比原始基于搜索的方法快 6–10 倍，显示出效率收益。