[論文レビュー] Neural Text Generation with Unlikelihood Training

Sean Welleck, Ilia Kulikov+4 more|arXiv (Cornell University)|Aug 12, 2019

Topic Modeling参考文献 31被引用数 241

ひとこと要約

本論文はニューラルテキスト生成における崩れを減らすための非尤度トレーニングを導入し、困難な繰り返しとトークン分布を改善しつつパープレキシティを維持し、ビームサーチを含むデコード戦略全般で標準の尤度トレーニングより優れていることを示し、デコード戦略を超えて実証。

ABSTRACT

Neural text generation is a key tool in natural language applications, but it is well known there are major problems at its core. In particular, standard likelihood training and decoding leads to dull and repetitive outputs. While some post-hoc fixes have been proposed, in particular top-$k$ and nucleus sampling, they do not address the fact that the token-level probabilities predicted by the model are poor. In this paper we show that the likelihood objective itself is at fault, resulting in a model that assigns too much probability to sequences containing repeats and frequent words, unlike those from the human training distribution. We propose a new objective, unlikelihood training, which forces unlikely generations to be assigned lower probability by the model. We show that both token and sequence level unlikelihood training give less repetitive, less dull text while maintaining perplexity, giving superior generations using standard greedy or beam search. According to human evaluations, our approach with standard beam search also outperforms the currently popular decoding methods of nucleus sampling or beam blocking, thus providing a strong alternative to existing techniques.

研究の動機と目的

• 最大尤度で訓練されたニューラルテキスト生成における崩壊を促し、分析する。
• ありそうでない、または繰り返しのトークンを罰するトレーニング目的（非尤度）を提案。
• トークンレベルおよびシーケンスレベルの非尤度損失を開発し生成品質を向上。
• 繰り返し、トークン分布、そしてデコード法全体での人間評価の改善を示す。
• GPT-2などの大規模モデルのファインチューニングへの適用性を、実用的な訓練更新とともに示す。

提案手法

• 次トークン予測中にネガティブ候補トークンを罰する非尤度損失を定義する。
• トークンレベルで尤度更新と非尤度更新を組み合わせる（L_UL-token）。
• 過去の文脈トークンをネガティブ候補として用い、繰り返しと頻度の高いトークンの過剰使用を抑制する。
• モデ ルが生成する継続部分へのペナルティを適用して訓練時と推論時の分布不一致に対処する、シーケンスレベルの非尤度（L_ULS）を導入する。
• 効率的な改善のため L_UL-token と L_UL-seq 損失を混合してファインチューニングする。
• 効率を示す：シーケンスレベルのファインチューニングは約1,500更新程度で効果的になり得る。

実験結果

リサーチクエスチョン

• RQ1 非尤度トレーニングは最大尤度トレーニングと比べて生成テキストの繰り返しや鈍さを減らすことができるか?
• RQ2 非尤度トレーニングは生成品質を向上させつつ、パープレキシティとトークン精度を維持できるか?
• RQ3 トークンレベルとシーケンスレベルの非尤度目的は補完的な利点を提供し、既存のデコード修正（top-k、ヌクレウス・サンプリング、ビームブロック）を人間の判断で上回ることができるか?
• RQ4 大規模トランスフォーマーベースの言語モデルや事前学習済みシステム（例：GPT-2）へのファインチューニングを通じて、非尤度トレーニングは効果的か?
• RQ5 さまざまなデコード戦略が非尤度訓練済みモデルの生成品質とどのように相互作用するか?

主な発見

• 非尤度トレーニングはMLEベースラインと比較してトークンレベルの反復とシーケンスレベルの反復の双方を減らす。
• トークンレベルの非尤度は次トークンのユニーク数を増やし、繰り返しを減らす（wrep）ことを、パープレキシティや精度の顕著な損失なしに達成。
• シーケンスレベルの非尤度はさらに繰り返しを著しく減らし、より多くのユニークなトークン継続を生み出す（例: seq-rep-4 が大幅に低い）。
• シーケンスレベルの非尤度（またはトークン+シーケンスの組み合わせ）でのファインチューニングは、人間評価でヌクレウスサンプリングやビームブロックを用いた尤度トレーニングモデルを大きく上回る。
• このアプローチは決定論的（グリーディ/ビーム）および確率的デコードのいずれでも効果的で、比較的少ない更新（約1,500）で既存の事前学習モデルを改善できる。
• 非尤度目的を用いたGPT-2の微調整は、繰り返し削減の同等の利得をもたらし、言語モデリング品質を維持する。