[论文解读] A Theoretical Analysis of the Repetition Problem in Text Generation

Zihao Fu, Wai Lam+2 more|arXiv (Cornell University)|Dec 29, 2020

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一个理论框架，用于分析文本生成中的重复问题，识别出‘高流入词’（被众多其他词高概率预测的词）为根本原因。文中引入平均重复概率（ARP）并推导其上界，表明现有采样方法通过最小化这些上界来减少重复。作者进一步提出一种重新平衡的编码方法，将高流入词对合并为单一标记，显著降低了神经机器翻译与语言建模任务中的重复现象。

ABSTRACT

Text generation tasks, including translation, summarization, language models, and etc. see rapid growth during recent years. Despite the remarkable achievements, the repetition problem has been observed in nearly all text generation models undermining the generation performance extensively. To solve the repetition problem, many methods have been proposed, but there is no existing theoretical analysis to show why this problem happens and how it is resolved. In this paper, we propose a new framework for theoretical analysis for the repetition problem. We first define the Average Repetition Probability (ARP) to characterize the repetition problem quantitatively. Then, we conduct an extensive analysis of the Markov generation model and derive several upper bounds of the average repetition probability with intuitive understanding. We show that most of the existing methods are essentially minimizing the upper bounds explicitly or implicitly. Grounded on our theory, we show that the repetition problem is, unfortunately, caused by the traits of our language itself. One major reason is attributed to the fact that there exist too many words predicting the same word as the subsequent word with high probability. Consequently, it is easy to go back to that word and form repetitions and we dub it as the high inflow problem. Furthermore, we derive a concentration bound of the average repetition probability for a general generation model. Finally, based on the theoretical upper bounds, we propose a novel rebalanced encoding approach to alleviate the high inflow problem. The experimental results show that our theoretical framework is applicable in general generation models and our proposed rebalanced encoding approach alleviates the repetition problem significantly. The source code of this paper can be obtained from https://github.com/fuzihaofzh/repetition-problem-nlg.

研究动机与目标

• 识别神经文本生成中重复问题的根本原因，该问题尚未被现有理论所解释。
• 开发一种定量度量——平均重复概率（ARP）——以表征序列生成中的重复现象。
• 对马尔可夫生成模型与一般生成模型进行理论分析，推导ARP的上界，从而解释现有采样方法的有效性。
• 提出一种新颖的重新平衡编码方法，通过减少高流入词对来缓解重复问题。
• 在神经机器翻译与语言建模任务中，对理论与方法进行实证验证。

提出的方法

• 将平均重复概率（ARP）定义为衡量文本生成中重复现象的定量指标。
• 分析马尔可夫生成模型，推导ARP的理论上界，将其与模型行为及采样策略相联系。
• 识别出‘高流入问题’——即多个词以高概率预测同一词——为重复现象的主要原因。
• 将分析扩展至一般生成模型，利用ARP的浓度不等式，确保理论适用性超越马尔可夫链。
• 提出一种重新平衡编码方法，将高流入词对合并为单一标记，以降低其对重复的集体影响。
• 在神经机器翻译与语言建模任务中应用重新平衡编码方法，与标准采样技术进行性能比较。

实验结果

研究问题

• RQ1 尽管在架构与训练方面取得显著进展，为何重复问题在各类文本生成模型中仍持续存在？
• RQ2 现有采样方法（如Top-k与核采样）在减少重复方面有效的理论基础是什么？
• RQ3 如何在序列生成模型中形式化表征并界定重复问题的边界？
• RQ4 重复问题在多大程度上由人类语言的内在特性，特别是词转移模式，所导致？
• RQ5 对输入表示进行结构化修改（重新平衡）是否能有效减少重复，而无需改变模型架构？

主要发现

• 重复问题的根本原因在于人类语言的语言结构，特别是‘高流入词’的普遍性，即这些词被大量前驱词以高概率预测。
• 大多数现有采样方法（如Top-k、核采样）隐式地最小化ARP的理论上的界，从而解释了其有效性。
• 所提出的重新平衡编码方法通过将高流入词对合并为单一标记来降低ARP，从而显著减少重复。
• 在神经机器翻译任务中，重新平衡编码方法在与基线及采样方法相当的BLEU性能水平下，实现了最低的重复得分。
• 在语言建模任务中，该方法在重复与困惑度之间实现了最佳权衡，优于温度采样、Top-k与核采样。
• 实证验证表明，理论ARP与观测到的重复度量之间存在强烈的正相关性，证实了ARP度量的明确性。