[論文レビュー] Consistency of a Recurrent Language Model With Respect to Incomplete Decoding

Sean Welleck, Ilia Kulikov+3 more|arXiv (Cornell University)|Feb 6, 2020

Topic Modeling参考文献 26被引用数 7

ひとこと要約

この論文は、ビームサーチやnucleusサンプリングなどのデコードアルゴリズムが、モデルの下で確率がゼロである無限長のシーケンスを生成する可能性がある、再帰的言語モデルにおける不整合性を特定し、解決する。著者らは一貫性のあるサンプリングの変種と、有限出力を保証する自己終了型モデルアーキテクチャを提案し、GPT-2において非終了率が著しく低下することを実証的に示したが、言語モデリングの品質は高い水準を維持した。

ABSTRACT

Despite strong performance on a variety of tasks, neural sequence models trained with maximum likelihood have been shown to exhibit issues such as length bias and degenerate repetition. We study the related issue of receiving infinite-length sequences from a recurrent language model when using common decoding algorithms. To analyze this issue, we first define inconsistency of a decoding algorithm, meaning that the algorithm can yield an infinite-length sequence that has zero probability under the model. We prove that commonly used incomplete decoding algorithms - greedy search, beam search, top-k sampling, and nucleus sampling - are inconsistent, despite the fact that recurrent language models are trained to produce sequences of finite length. Based on these insights, we propose two remedies which address inconsistency: consistent variants of top-k and nucleus sampling, and a self-terminating recurrent language model. Empirical results show that inconsistency occurs in practice, and that the proposed methods prevent inconsistency.

研究の動機と目的

• 再帰的言語モデルの確率分布と、不完全なデコードアルゴリズムが誘導する分布の間の不整合を形式化すること。
• 一般的に使われるデコード手法—グリーディサーチ、ビームサーチ、top-kサンプリング、nucleusサンプリング—が、なぜモデル下で確率がゼロの無限長シーケンスを生成する可能性があるかを特定すること。
• デコードが常に有限で有効なシーケンスを生成するように保証する実用的な解決策を開発すること。
• 不整合が実際の標準モデル（例：GPT-2）においても発生することを実証的に検証すること。
• 訓練時に不整合を緩和できるかどうかを、シーケンスレベルの学習の観点から探ること。

提案手法

• 有限語彙に加え、シーケンス終了を示す特別な<eos>トークンを含む、自己回帰的ニューラルネットワークとして再帰的言語モデルを定義する。
• デコードアルゴリズムを、モデルとコンテキストに基づいてシーケンスの分布を誘導する関数として形式化し、モデル下で確率がゼロの無限長シーケンスが生成される状況を「不整合」と定義する。
• 各ステップで特定のトークンを除外するような不完全なデコードアルゴリズムは、モデル自体が一貫していても、不整合な分布を誘導することを証明する。
• デコード中に<eos>トークンが候補集合から除外されないよう保証することで、top-kおよびnucleusサンプリングの一致する変種を提案する。
• <eos>トークンが常に高い順位に来るように出力層を再パラメータ化することで、いかなる不完全なデコード戦略に対しても終了を保証する自己終了型再帰的言語モデルを導入する。
• グリーディデコードを用いて、Wikitext-103データセット上で非終了率とパープレキシティを測定し、一貫性と生成品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチやnucleusサンプリングのようなデコードアルゴリズムは、再帰的言語モデル下で確率がゼロの無限長シーケンスを生成できるか？
• RQ2 なぜ一般的に使われるデコード手法が、有限シーケンスの生成を学習しているにもかかわらず、不整合を引き起こすのか？
• RQ3 デコード中に<eos>トークンが常に除外されないよう設計された一貫性のあるサンプリングの変種を構築できるか？
• RQ4 いかなる不完全なデコードアルゴリズムに対しても有限出力を保証する自己終了型モデルアーキテクチャを構築できるか？
• RQ5 不整合は、ファインチューニングされたGPT-2のような実世界のモデルにおいても実際のデプロイドパイプラインで顕在化するのか？

主な発見

• Wikitext-103における標準的なGPT-2-117Mのグリーディデコード（500トークン制限）における非終了率は37.91%であり、実際の運用で顕著な不整合が生じていることを示している。
• 自己終了型GPT-2の変種は、非終了率が0.00%にまで低下し、無限生成を完全に排除したが、生成品質は妥当な水準を維持した。
• 自己終了型モデルのパープレキシティは20.92から27.25に上昇し、一貫性の向上に伴う言語モデリング品質のわずかなトレードオフが生じた。
• 一貫性のあるサンプリングの変種は、デコード中に<eos>トークンが常に候補集合に含まれることを保証することで、無限長シーケンスの生成を防止する。
• 自己終了型モデルからの継続の長さ分布は、より短く現実的で、真値データ分布に近づいた。
• 実証的結果から、不整合は理論的な懸念ではなく、実際のデプロイドデコードパイプラインにおいて顕在化する実問題であることが確認された。