[論文レビュー] Contrastive Decoding: Open-ended Text Generation as Optimization

Xiang Lisa Li, Ari Holtzman+6 more|arXiv (Cornell University)|Oct 27, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

対照的デコード（CD）は、大規模な「専門家」言語モデルと小規模な「素人」モデルの間の対数尤度の差を最適化することで、オープンエンドなテキスト生成を向上させる。同時に、専門家の出力によって妥当性を保証する。追加のトレーニングが不要で推論オーバーヘッドも最小限であるが、専門家モデルから直接デコードするか、nucleusやtop-kサンプリングといった標準ベースラインと比較して、質が高く、一貫性があり、語彙的に多様なテキストを生成する。

ABSTRACT

Given a language model (LM), maximum probability is a poor decoding objective for open-ended generation, because it produces short and repetitive text. On the other hand, sampling can often produce incoherent text that drifts from the original topics. We propose contrastive decoding (CD), a reliable decoding approach that optimizes a contrastive objective subject to a plausibility constraint. The contrastive objective returns the difference between the likelihood under a large LM (called the expert, e.g. OPT-13B) and a small LM (called the amateur, e.g. OPT-125M), and the constraint ensures that the outputs are plausible. CD is inspired by the fact that the failures of larger LMs (e.g., repetition, incoherence) are even more prevalent in smaller LMs, and that this difference signals which texts should be preferred. CD requires zero additional training, and produces higher quality text than decoding from the larger LM alone. It also works across model scales (OPT-13B and GPT2-1.5B) and significantly outperforms four strong decoding algorithms (e.g., nucleus, top-k) in automatic and human evaluations across wikipedia, news and story domains.

研究の動機と目的

• 最大尤度デコードの限界、すなわち短く繰り返しの多い出力を是正するため。
• 大規模で高性能な言語モデル（専門家）と小規模で能力に劣るモデル（素人）の対照を活用することで、オープンエンドなテキスト生成の質を向上させるため。
• 専門家モデルの長所を強化するとともに、小規模モデルに共通する失敗モード（繰り返しや一貫性の欠如）を抑制するデコード戦略を開発するため。
• 微調整や追加トレーニングを一切必要とせず、既存のデコード手法を上回る生成品質を達成するため。
• 本手法がモデルスケールやドメインにかかわらず一般化できることを示すため（Wikipedia、ニュース、物語生成を含む）。

提案手法

• CDは、専門家LMにおける次のトークンの対数尤度と素人LMにおける対数尤度の差を最大化する最適化問題としてデコードを定式化する。
• 目的関数は以下の通り定義される：$ \text{CD} = \log p_{\text{exp}}(x_i \mid x_{<i}) - \log p_{\text{ama}}(x_i \mid x_{<i}) $、ここで$ x_i $は候補となる次のトークンである。
• 妥当性制約により、専門家LMにおいて十分に高い尤度を持つトークンに限定して探索が制限され、生成テキストの流暢さと一貫性が保証される。
• 本手法は自己回帰的に動作し、現在の文脈に条件づけられた対照スコアに基づいて1トークンずつ選択する。
• 2つの事前学習済みで固定された言語モデル（大規模な専門家（例：OPT-13B）、小規模な素人（例：OPT-125M））を用いる。両者とも微調整されていない。
• 対照的目的関数は、専門家では尤度が高いが素人では低いシーケンスを暗黙的に好む。これにより、事実に基づき、多様で一貫性のある継続が強調される。

実験結果

リサーチクエスチョン

• RQ1 大規模モデルと小規模モデルの間の対照的目的関数が、追加トレーニングなしにテキスト生成の質を向上させられるか？
• RQ2 専門家と素人モデルの対照が、繰り返しや一貫性の欠如といった一般的な失敗モードを効果的に抑制できるか？
• RQ3 nucleusサンプリング、top-k、typicalデコードといった既存のデコード戦略と比較して、対照的デコードはさまざまなドメインでどのように性能を発揮するか？
• RQ4 対照的デコードの性能は、専門家と素人モデルのスケール差に依存するか？
• RQ5 対照的デコードは、流暢さを維持しながら、オープンエンド生成における一貫性と語彙的多様性を著しく向上させられるか？

主な発見

• 対照的デコードは、Wikipedia、ニュース、物語生成の各ドメインにおいて、生成テキストの一貫性を顕著に向上させ、nucleusサンプリング、top-k、typicalデコード、SimCTGをすべて上回る。自動評価と人的評価の両方でその優位性が示された。
• 追加トレーニングが一切不要であるにもかかわらず、専門家モデルから直接デコードするのと比較して、CDはより高品質な出力を生成した。
• 人的評価では、CDによって生成されたテキストは、一貫性と語彙的多様性が高く、ベースラインと比較して流暢さを維持または向上させた。
• 専門家と素人モデルのスケール差が大きいほどCDの性能が向上し、素人モデルが著しく小さい場合に、対照信号がより強くなることが示された。
• CDは推論オーバーヘッドが最小限であり、素人モデルが小さく高速なため、リアルタイムアプリケーションにおいて実用的である。
• 例示的生成では、CDは「Exit Through the Kwik-E-Mart」エピソードについて、一貫性があり事実に基づいた継続を正しく生成したが、nucleusサンプリングは一貫性の欠如やトピックから外れた出力を生成した。