[論文レビュー] Plug and Play Language Models: A Simple Approach to Controlled Text Generation

Sumanth Dathathri, Andrea Madotto+6 more|arXiv (Cornell University)|Dec 4, 2019

Speech and dialogue systems被引用数 407

ひとこと要約

PPLM は、事前学習済みの言語モデルをライトウェイトの属性モデルと組み合わせ、再訓練なしに生成を誘導します。潜在空間での勾配更新を用いてトピックと感情を制御しつつ、流暢さを保ちます。

ABSTRACT

Large transformer-based language models (LMs) trained on huge text corpora have shown unparalleled generation capabilities. However, controlling attributes of the generated language (e.g. switching topic or sentiment) is difficult without modifying the model architecture or fine-tuning on attribute-specific data and entailing the significant cost of retraining. We propose a simple alternative: the Plug and Play Language Model (PPLM) for controllable language generation, which combines a pretrained LM with one or more simple attribute classifiers that guide text generation without any further training of the LM. In the canonical scenario we present, the attribute models are simple classifiers consisting of a user-specified bag of words or a single learned layer with 100,000 times fewer parameters than the LM. Sampling entails a forward and backward pass in which gradients from the attribute model push the LM's hidden activations and thus guide the generation. Model samples demonstrate control over a range of topics and sentiment styles, and extensive automated and human annotated evaluations show attribute alignment and fluency. PPLMs are flexible in that any combination of differentiable attribute models may be used to steer text generation, which will allow for diverse and creative applications beyond the examples given in this paper.

研究の動機と目的

• 大規模な LMs を再訓練せずに、制御可能なテキスト生成の必要性を動機づける。
• 推論時に基盤 LM と単純な属性モデルを組み合わせる、柔軟なフレームワークを提案する。
• トピックと感情の制御を実演し、属性の整合性と流暢さを評価する。
• PPLM を既存のベースラインと比較し、デトックス化や制約付きのストーリーテリングの可能性を示す。

提案手法

• パラメータを変更せず、事前学習済みのトランスフォーマーベースの LM p(x)（例: GPT-2 345M）を使用する。
• 微分可能な属性モデル p(a|x) を 1つ以上追加する（例: bag-of-words や単一層識別器）。
• KL 発散と後ノーマライズ融合の制約を用いて log p(x) を保ちながら、潜在空間 Ht で勾配ベースの更新を行い log p(a|x) を最大化する。
• 潜在表現 ΔHt を更新し、更新された分布から再サンプリングしてトークンを生成する。強度を制御できるノブを持つ。
• 複数の属性モデルを組み合わせ、元の LM 分布との事後融合を適用して流暢さを保持する。
• 自動指標（パープレキシティ、Dist-1/2/3）と人間の判断の両方で、流暢さと属性の関連性を評価する。

実験結果

リサーチクエスチョン

• RQ1 PPLM は、LM の再訓練を行わずに、事前定義された属性（トピックまたは感情）へテキスト生成を誘導できるか？
• RQ2 潜在空間の操作は、属性制御のための出力分布の再ランク付けと比較してどのようか？
• RQ3 KL 正則化と後ノーマ融合を組み合わせることで、属性整合性を強制しつつ流暢さを保持できるか？
• RQ4 BoW、識別子など、異なる属性モデルとドメインで PPLM は有効か？

主な発見

• PPLM は、トピックと感情の属性制御を実現しつつ、基準 LM と同等の流暢さを維持する。
• 潜在空間操作（BC/BCR）は、再ランク付けや重み付けだけの方法よりも、トピック制御を大幅に高める。
• PPLM-Discrim は、潜在更新とランキングを組み合わせた（BCR）で、感情制御を強力に達成し、流暢さも競争力が高く、いくつかのベースラインを上回る。
• CTRL やポジティブ性のために finetuned された GPT-2 と比較して、PPLM は著者の属性関連性と流暢さの notion にしばしば一致するか上回る。
• PPLM は毒性検出器からの勾配を追うことでデトックス化に使用でき、構造化されたストーリライティングをサポートする。
• 実験コードを公開しており、実用性と再現性の高いアクセス性を示している。