[論文レビュー] GeDi: Generative Discriminator Guided Sequence Generation

Ben Krause, Akhilesh Deepak Gotmare+5 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling参考文献 40被引用数 6

ひとこと要約

GeDiは、より小さな分類条件付き言語モデル（CC-LM）を生成的識別器として用いることで、大規模言語モデル（LM）の生成を計算的に効率的に行う手法を提案する。ベイズの定理を用いて、望ましい属性と望ましくない属性の両方を基に次トークンの分類確率を計算することで、より高速で、より制御可能かつ安全な生成を実現する。GPT-2においても、文脈の流れを損なわず、30倍以上の高速化を達成するとともに、毒性を低減している。

ABSTRACT

While large-scale language models (LMs) are able to imitate the distribution of natural language well enough to generate realistic text, it is difficult to control which regions of the distribution they generate. This is especially problematic because datasets used for training large LMs usually contain significant toxicity, hate, bias, and negativity. We propose GeDi as an efficient method for using smaller LMs as generative discriminators to guide generation from large LMs to make them safer and more controllable. GeDi guides generation at each step by computing classification probabilities for all possible next tokens via Bayes rule by normalizing over two class-conditional distributions; one conditioned on the desired attribute, or control code, and another conditioned on the undesired attribute, or anti control code. We find that GeDi gives stronger controllability than the state of the art method while also achieving generation speeds more than 30 times faster. Additionally, training GeDi on only four topics allows us to controllably generate new topics zero-shot from just a keyword, unlocking a new capability that previous controllable generation methods do not have. Lastly, we show that GeDi can make GPT-2 (1.5B parameters) significantly less toxic without sacrificing linguistic quality, making it by far the most practical existing method for detoxifying large language models while maintaining a fast generation speed.

研究の動機と目的

• 偏見や有毒なウェブデータで学習された大規模言語モデル（LM）が、有害または制御不能なコンテンツを生成するという課題に対処すること。
• PPLM や重み付きデコードといった従来の制御手法が語彙サイズに比例して計算コストが増大する問題を克服すること。
• トレーニング時に見られなかった新しいトピックに対してもゼロショットで制御可能にすることにより、トレーニング分布を超えた制御性を拡張すること。
• GPT-2のような大規模LMにおける毒性を低下させつつ、言語的品質を損なわない実用的なデトックス化手法を提供すること。

提案手法

• 生成的識別器（GeDi）としてのクラス条件付き言語モデル（CC-LM）を用い、ベイズの定理によりトークンレベルの分類確率を計算する。
• ベイズの定理を適用し、望ましい制御コードと反制御コードの両方の条件付き分布に基づいて正規化を行う。
• 計算された尤度を用いて重み付きデコードを実行し、大規模LMの生成を効率的にガイドする。これにより、全候補を再ランク付けする必要がなくなる。
• 生成的・識別的損失のハイブリッドを用いてGeDiを訓練することで、分類性能を向上させ、識別器としての有効性を高める。
• キーワードプロンプトを用いることで、4つのトピックでの微調整のみで、未学習のトピックに対しても一般化可能なゼロショット制御を可能にする。
• 大規模LM（例：GPT-2-XL）と推論時ガイドランスを用いてGeDiを統合し、本体モデルの再訓練を回避する。

実験結果

リサーチクエスチョン

• RQ1 より小さな生成的識別器（GeDi）は、高い文の流れを保ちながら、望ましい属性を持つテキストを大規模言語モデルが生成するのを効果的にガイドできるか？
• RQ2 GeDiの推論速度は、PPLM や重み付きデコードといった従来手法と比較して、スケールが大きくなった場合にどのように異なるか？
• RQ3 GeDiは、トレーニングデータに含まれない新しいトピックに対してもゼロショット制御を一般化できるか？
• RQ4 GeDiは、GPT-2のような大規模言語モデルにおける毒性を低下させつつ、テキスト品質を損なわない程度にまで効果的に低減できるか？
• RQ5 生成的・識別的ハイブリッド目的関数でGeDiを訓練することで、制御タスクにおける識別器としての性能が向上するか？

主な発見

• GPT-2-XLを用いたGeDiガイドド生成は、デフォルト設定下でPPLMよりも30倍以上高速であり、推論効率が著しく向上した。
• 映画レビューの感情分析で学習したGeDiは、最先端のベースラインと比較して、トーン（肯定的／否定的）の制御において優れた性能を示した。
• GeDiはGPT-2の生成における毒性を低減しながらも、言語的品質を維持しており、大規模LM向けの最も実用的なデトックス化手法である。
• GeDiはゼロショットトピック制御に一般化可能である：4つのトピックでの微調整のみで、キーワードプロンプトを用いて完全に新しいトピックに対しても効果的な生成が可能となった。
• パラメータ数345Mの小さなGeDi識別器は、1枚のGPUで1日未満で微調整可能であり、大規模モデルのガイドに効果的かつ計算的に効率的である。
• ハイブリッド学習目的関数により、GeDiの識別能力が向上し、制御タスクにおいて、従来の生成的のみのCC-LMよりも優れた性能を発揮した。