[論文レビュー] A Theoretical Analysis of the Repetition Problem in Text Generation

Zihao Fu, Wai Lam+2 more|arXiv (Cornell University)|Dec 29, 2020

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿は、テキスト生成における繰り返し問題を分析する理論的枠組みを提案し、『高流入語』—多くの他の語から予測される語—を根本的要因として特定する。平均繰り返し確率（ARP）を導入し、上界を導出することで、既存のサンプリング手法がこれらの上界を最小化することで繰り返しを低減していることを示す。著者らはさらに、高流入語ペアを統合する再バランス化符号化法を提案し、機械翻訳および言語モデル生成の両タスクで繰り返しを顕著に低減する。

ABSTRACT

Text generation tasks, including translation, summarization, language models, and etc. see rapid growth during recent years. Despite the remarkable achievements, the repetition problem has been observed in nearly all text generation models undermining the generation performance extensively. To solve the repetition problem, many methods have been proposed, but there is no existing theoretical analysis to show why this problem happens and how it is resolved. In this paper, we propose a new framework for theoretical analysis for the repetition problem. We first define the Average Repetition Probability (ARP) to characterize the repetition problem quantitatively. Then, we conduct an extensive analysis of the Markov generation model and derive several upper bounds of the average repetition probability with intuitive understanding. We show that most of the existing methods are essentially minimizing the upper bounds explicitly or implicitly. Grounded on our theory, we show that the repetition problem is, unfortunately, caused by the traits of our language itself. One major reason is attributed to the fact that there exist too many words predicting the same word as the subsequent word with high probability. Consequently, it is easy to go back to that word and form repetitions and we dub it as the high inflow problem. Furthermore, we derive a concentration bound of the average repetition probability for a general generation model. Finally, based on the theoretical upper bounds, we propose a novel rebalanced encoding approach to alleviate the high inflow problem. The experimental results show that our theoretical framework is applicable in general generation models and our proposed rebalanced encoding approach alleviates the repetition problem significantly. The source code of this paper can be obtained from https://github.com/fuzihaofzh/repetition-problem-nlg.

研究の動機と目的

• 神経的テキスト生成における繰り返し問題の根本的要因を特定すること。これは、既存の理論では説明されていない。
• 繰り返しを特徴付ける定量的指標—平均繰り返し確率（ARP）—を確立すること。
• マルコフ生成モデルおよび一般化された生成モデルを理論的に分析し、ARPの上界を導出し、既存のサンプリング手法の有効性を説明すること。
• 高流入語ペアを低減することで繰り返しを緩和する、新規の再バランス化符号化アプローチを提案すること。
• 神経機械翻訳および言語モデル生成タスクにおいて、理論と手法の実証的妥当性を検証すること。

提案手法

• 繰り返しの測定に用いる定量的指標として、平均繰り返し確率（ARP）を定義する。
• マルコフ生成モデルの分析により、ARPの理論的上界を導出し、モデルの挙動とサンプリング戦略との関連を明らかにする。
• 多くの語が同じ語を高い確率で予測する『高流入問題』を、繰り返しの主な原因として同定する。
• ARPの集中不等式を用いて一般生成モデルへの拡張を図り、マルコフ連鎖を超える理論的適用可能性を保証する。
• 高流入語ペアを1つのトークンに統合する再バランス化符号化法を提案し、それらの集団的影響を低減する。
• 再バランス化符号化法を、神経機械翻訳および言語モデル生成タスクに適用し、標準的なサンプリング手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャやトレーニングの進歩が著しいにもかかわらず、多様なテキスト生成モデルで繰り返し問題が継続する理由は何か？
• RQ2 Top-k やヌクレアスサンプリングなどの既存のサンプリング手法が繰り返しを低減する理論的根拠は何か？
• RQ3 系列生成モデルにおける繰り返し問題を形式的に特徴づけ、上限を定めることは可能か？
• RQ4 言語の構造的性質、特に語の遷移パターンが、繰り返し問題の原因として果たす程度はどの程度か？
• RQ5 入力表現の構造的変更（再バランス化）により、モデルアーキテクチャを変更せずに繰り返しを効果的に低減できるか？

主な発見

• 繰り返し問題の根本的要因は、人間言語の言語的構造にあり、特に多くの前件語から予測される『高流入語』の存在に起因する。
• 多くの既存のサンプリング手法（例：Top-k、ヌクレアスサンプリング）は、ARPの理論的上界を暗黙的に最小化することで、その有効性を示している。
• 提案された再バランス化符号化法は、高流入語ペアを1つのトークンに統合することでARPを低減し、繰り返しの顕著な減少をもたらす。
• 機械翻訳のタスクでは、ベースラインおよびサンプリング手法と比較して、同等のBLEUスコア水準で最低の繰り返しスコアを達成した。
• 言語モデル生成のタスクでは、繰り返しとパープレクサリティの最良なトレードオフを達成し、温度調整、Top-k、ヌクレアスサンプリングを上回った。
• 実証的検証により、理論的ARPと観測された繰り返し指標との間に強い正の相関関係が確認され、ARP指標の明確な定義性が裏付けられた。