[論文レビュー] Energy-Based Models for Text

Anton Bakhtin, Yuntian Deng+4 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling被引用数 9

ひとこと要約

本稿では、エネルギーに基づくモデル（EBM）フレームワークを用いて、グローバルに正規化された識別器を自己回帰的言語モデルに統合することで、テキスト生成の質を向上させる手法を提案する。訓練データにアクセスできない状況でも、実際のテキストと生成されたテキストを区別できる統計的識別器を訓練することで、パープレキシティを低減し、人間による評価スコアを向上させた。これは、EBMが判別的フィードバックを用いて生成モデルを効果的に向上させられることを示している。

ABSTRACT

Current large-scale auto-regressive language models display impressive fluency and can generate convincing text. In this work we start by asking the question: Can the generations of these models be reliably distinguished from real text by statistical discriminators? We find experimentally that the answer is affirmative when we have access to the training data for the model, and guardedly affirmative even if we do not. This suggests that the auto-regressive models can be improved by incorporating the (globally normalized) discriminators into the generative process. We give a formalism for this using the Energy-Based Model framework, and show that it indeed improves the results of the generative models, measured both in terms of perplexity and in terms of human evaluation.

研究の動機と目的

• 自己回帰的言語モデルが訓練データにアクセスせずに、実際のテキストと信頼性を持って区別可能かどうかを調査すること。
• 訓練データにアクセスするかしないかにかかわらず、識別器を訓練することで生成モデルの品質を向上させられるかどうかを検討すること。
• エネルギーに基づくモデル（EBM）を用いて、識別器を自己回帰的生成に統合する形式的なフレームワークを構築すること。
• 自動指標（パープレキシティ）と人間評価の両方を用いて、得られたモデルの改善を評価すること。

提案手法

• テキスト生成をエネルギーに基づくモデルとして形式化し、エネルギー関数を実際のテキストと生成されたテキストの対比で訓練された識別器から学習する。
• グローバルに正規化されたエネルギー関数を用いて、系列全体の有効な確率分布を保証する。
• 生成された系列のエネルギーを最小化し、実際の系列のエネルギーを最大化する勾配更新を用いて生成器を訓練する。
• スコアマッチィングまたは対照学習を用いて、識別器のフィードバックを生成プロセスに統合する。
• GPT風のアーキテクチャを含む自己回帰的モデルにこの手法を適用し、判別的信号を用いてファインチューニングする。
• 訓練データへのアクセスありとゼロショット設定（訓練データなし）の両方を用いて識別器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 モデルの訓練データにアクセスしない状況でも、統計的識別器が生成テキストと実際のテキストを信頼性を持って区別できるか？
• RQ2 グローバルに正規化された識別器を自己回帰的生成に効果的に統合できるか？
• RQ3 EBMを用いた判別的フィードバックの統合によって、パープレキシティが低下し、人間評価スコアが向上するか？
• RQ4 ゼロショットおよびフェイシュート設定において、強化されたモデルの性能はベースラインの自己回帰的モデルと比べてどのように異なるか？

主な発見

• 訓練データにアクセスして識別器を訓練した場合、生成テキストと実際のテキストを信頼性を持って区別できる。
• 訓練データにアクセスしない状況でも、識別器は生成テキストと実際のテキストを区別可能であるが、性能は限定的である。
• EBMフレームワークを用いて識別器を自己回帰的モデルに統合することで、パープレキシティの測定可能な改善が得られた。
• 人間評価では、強化されたモデルがベースラインの自己回帰的モデルよりもより現実的で滑らかなテキストを生成することが確認された。
• ゼロショットおよびフェイシュート設定の両方で、本手法は優れた性能を示し、限られたデータに対しても頑健であることが明らかになった。