[論文レビュー] Diffusion-LM Improves Controllable Text Generation

Xiang Lisa Li, John Thickstun+3 more|arXiv (Cornell University)|May 27, 2022

Topic Modeling被引用数 237

ひとこと要約

Diffusion-LMは連続拡散ベースの非自己回帰言語モデルを導入し、潜在変数に対して勾配ベースの制御を可能にして、複雑な制約を満たしつつ流暢さを維持する、制御可能なテキスト生成を実現します。

ABSTRACT

Controlling the behavior of language models (LMs) without re-training is a major open problem in natural language generation. While recent works have demonstrated successes on controlling simple sentence attributes (e.g., sentiment), there has been little progress on complex, fine-grained controls (e.g., syntactic structure). To address this challenge, we develop a new non-autoregressive language model based on continuous diffusions that we call Diffusion-LM. Building upon the recent successes of diffusion models in continuous domains, Diffusion-LM iteratively denoises a sequence of Gaussian vectors into word vectors, yielding a sequence of intermediate latent variables. The continuous, hierarchical nature of these intermediate variables enables a simple gradient-based algorithm to perform complex, controllable generation tasks. We demonstrate successful control of Diffusion-LM for six challenging fine-grained control tasks, significantly outperforming prior work.

研究の動機と目的

• 大規模言語モデルを再訓練せずに制御可能な生成の必要性を動機付ける。
• 連続拡散ベースのテキストモデル（Diffusion-LM）を開発し、離散テキストを埋め込みと丸めで扱う。
• 拡散潜在変数上の分類器ガイダンスを用いた勾配ベースの生成制御を可能にする。
• 微細な構造的・意味的制御を横断して制御可能な生成を実証する。
• 分類器ガイド制御と分類器なしの埋め込みを示し、ベースラインと競合または優れた結果を示す。

提案手法

• 語を連続空間へ埋め込み、エンドツーエンドの埋め込みを学習して、テキストへ拡張する拡散モデルを導入する。
• 連続潜在ベクトルを離散語へ写像する丸め機構と、丸め誤差を減らすクランプ手法を導入する。
• 埋め込みと学習可能な丸め成分を含むエンドツーエンドの目的関数で拡散モデルを訓練する。
• 分類器項と流暢性正則化を用いた連続潜在変数の勾配更新で生成を制御し、p(x_{t-1}|x_t)と p(c|x_{t-1})のバランスを取る。
• 効率と制御品質を向上させるため、拡散ステップをダウンサンプリングし、1ステップあたり複数の勾配ステップを適用する。
• 埋め込みタスクのための分類器なしの埋め込み(最低限のBayesリスクデコーディング)を任意適用して高品質サンプルを選択する。

実験結果

リサーチクエスチョン

• RQ1 埋め込みと丸めを介して連続拡散フレームワークを離散テキストへ効果的に適用できるか？
• RQ2 拡散潜在上の勾配ベースの制御は、構文・意味・長さといった複雑な制御を、自己回帰のPlug-and-Play法より良く実現できるか？
• RQ3 分類器ガイド制御タスクでのDiffusion-LMの性能は、PPLMとFUDGE、微調整モデルと比較してどうか？
• RQ4 複数の制御を組み合わせ、分類器なしで埋め込みを行うことは可能か？

主な発見

タスク	制御 ↑	LM ↓
意味内容	81.2	2.55
品詞	90.0	5.16
構文木	86.0	3.71
構文スパン	93.8	2.53
長さ	99.9	2.16

• Diffusion-LMは六つの細かなタスクで高い制御成功と流暢なテキストを達成し、従来のPlug-and-Play法を上回る。
• 五つの分類器ガイドタスクで、Diffusion-LMはPPLMとFUDGEのベースラインより高い制御スコアと低いパープレキシティ（lm）を示し、構文解析木とスパンにおいて時にはファインチューニングのオラクルを超える。
• Diffusion-LMは、自己回帰法よりも非自己回帰の粗から細への潜在構造のおかげで、構文木・構文スパンなどの複雑な制御をより効果的に実現できる。
• 埋め込みなしの制御による埋め込みタスクでは、Diffusion-LMは従来のPlug-and-Play法を大幅に凌駕し、タスク用に特化して訓練された自己回帰モデルに並ぶか凌ぐ。
• 拡散ベースの制御によるサンプリングは自己回帰デコードより遅いが、いくつかの強力なベースラインよりは速い（FUDGEより約1.5倍遅い；PPLMより約60倍速い）。