[論文レビュー] Plug and Play Language Models: A Simple Approach to Controlled Text Generation

Sumanth Dathathri, Andrea Madotto+6 more|arXiv (Cornell University)|Dec 4, 2019

Topic Modeling参考文献 51被引用数 130

ひとこと要約

PPLM は事前学習済み言語モデルと軽量な属性モデルを組み合わせて再訓練なしに生成を導く。潜在空間の勾配更新と流暢さのセーフガードを用いる。BoW および discriminator-based の制御をサポートし、GPT-2 を基盤 LM として トピックと感情に対して実演されている。

ABSTRACT

Large transformer-based language models (LMs) trained on huge text corpora have shown unparalleled generation capabilities. However, controlling attributes of the generated language (e.g. switching topic or sentiment) is difficult without modifying the model architecture or fine-tuning on attribute-specific data and entailing the significant cost of retraining. We propose a simple alternative: the Plug and Play Language Model (PPLM) for controllable language generation, which combines a pretrained LM with one or more simple attribute classifiers that guide text generation without any further training of the LM. In the canonical scenario we present, the attribute models are simple classifiers consisting of a user-specified bag of words or a single learned layer with 100,000 times fewer parameters than the LM. Sampling entails a forward and backward pass in which gradients from the attribute model push the LM's hidden activations and thus guide the generation. Model samples demonstrate control over a range of topics and sentiment styles, and extensive automated and human annotated evaluations show attribute alignment and fluency. PPLMs are flexible in that any combination of differentiable attribute models may be used to steer text generation, which will allow for diverse and creative applications beyond the examples given in this paper.

研究の動機と目的

• 基盤 LM のパラメータを変更したり、属性特定データで再訓練せずに、制御可能なテキスト生成を動機づける。
• 事前学習済み LM とシンプルな属性モデルを組み合わせた plug-and-play フレームワークを提案する。
• BoW および discriminator-based 属性を用いてトピックと感情の制御を実証する。
• 自動指標と人間の判断を通じて属性の関連性と流暢さを評価する。

提案手法

• 未条件モデル p(x) として事前学習済みの transformer ベース LM（GPT-2 345M）を使用する。
• 生成を誘導するために、BoW や単純な discriminator などの軽量属性モデル p(a|x) を一つ以上付加する。
• 各生成ステップで、LM 潜在空間 H_t の勾配更新を実行し、log p(a|x) を最大化するとともに KL ダイバージェンスによる log p(x) の維持と無条件 LM との post-norm 融合を行う。
• 潜在表現 Delta H_t を正規化勾配ステップで更新し、更新後の潜在で LM の順伝播を実行して修正された出力分布を得る。
• オプションとして、複数のサンプルを前方属性尤度で順位付けし、多様性（Dist-1/2/3）でフィルタして反復を回避する。
• 推論時に複数のコントローラを組み合わせるプラグアンドプレー性について、さまざまな属性モデルとの互換性を示し議論する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み LM を再訓練や属性固有データでの微調整なしに、特定の属性へ誘導できるか？
• RQ2 BoW および discriminators の軽量属性モデルは、トピックと感情へと生成を誘導する際にどれだけ効果的か？
• RQ3 属性制御が流暢さと多様性に与える影響と、それをいかに安全に保つか？
• RQ4 PPLM は属性の関連性と自然さの点で既存の制御付き生成法と比較してどうか？

主な発見

• PPLM は LM の再訓練なしに推論時に p(x) と p(a|x) を組み合わせることで制御可能な生成を実現する。
• BoW ベースおよび discriminator ベースの属性モデルは、トピックと感情を測定可能な属性整合とともに誘導できる。
• 潜在空間の更新と KL ダイバージェンス流暢性条件は、流暢で属性に整合したテキストを生み出し、関連性と流暢さの点でベースラインと同等かそれ以上になることが多い。
• 勾配ベースの潜在操作とランキングを用いると、再ランキングや直接出力重み付けのベースラインより、トピックと感情の制御が改善される。
• ディスクリミネータベースによる制御は、潜在更新とサンプリング戦略を組み合わせると感情に対して有効であり、顕著な向上が見られる。