[論文レビュー] A Survey of Diffusion Models in Natural Language Processing

Hao Zou, Zae Myung Kim+1 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 7

ひとこと要約

本サーベイは自然言語処理における拡散モデルの包括的分析を提供し、自己回帰モデルと比較して、並列生成、トークンレベルの制御、耐性性の面での利点を強調している。主に離散的および埋め込みベースの拡散モデルの2つのアプローチを検討し、変換器（Transformers）の統合と、大規模およびマルチモーダルな拡散言語モデルといった今後の方向性を強調している。

ABSTRACT

This survey paper provides a comprehensive review of the use of diffusion models in natural language processing (NLP). Diffusion models are a class of mathematical models that aim to capture the diffusion of information or signals across a network or manifold. In NLP, diffusion models have been used in a variety of applications, such as natural language generation, sentiment analysis, topic modeling, and machine translation. This paper discusses the different formulations of diffusion models used in NLP, their strengths and limitations, and their applications. We also perform a thorough comparison between diffusion models and alternative generative models, specifically highlighting the autoregressive (AR) models, while also examining how diverse architectures incorporate the Transformer in conjunction with diffusion models. Compared to AR models, diffusion models have significant advantages for parallel generation, text interpolation, token-level controls such as syntactic structures and semantic contents, and robustness. Exploring further permutations of integrating Transformers into diffusion models would be a valuable pursuit. Also, the development of multimodal diffusion models and large-scale diffusion language models with notable capabilities for few-shot learning would be important directions for the future advance of diffusion models in NLP.

研究の動機と目的

• 自然言語処理における拡散モデルの包括的レビューを提供し、定式化、長所、短所をカバーする。
• 自己回帰モデルと比較して、並列生成、補間、耐性性の面での利点を強調する。
• 変換器が拡散アーキテクチャにどのように統合されているかを検討し、自然言語処理タスクにおける性能向上を図る。
• 主な研究ギャップと今後の方向性を特定する。特に、大規模な拡散言語モデルとマルチモーダルな拡散モデリングを含む。
• テキストの離散的性質や、拡散ベースの自然言語処理システムにおけるモデルの解釈可能性といった課題に対処する。

提案手法

• 自然言語処理における拡散モデルを2つの主要なタイプに分類する：カテゴリカル分布を用いた離散的拡散モデルと、ノイズ注入による連続空間を用いた埋め込みベースの拡散モデル。
• テキストに拡散確率的モデル（DDPM）フレームワークを適用し、前向きプロセスを、各ステップで分散スケジュールβtを用いてノイズを追加するマルコフ連鎖としてモデル化する。
• 再パラメータライゼーションを用いて、xtをx0とノイズの関数として表現する：xt = √αt x0 + √(1−αt) zt、これによりq(xt|x0)の閉形式導出が可能になる。
• 正弦波位置埋め込みを用いて、時刻tを変換器ブロックに組み込み、モデルが拡散ステップの文脈に注目できるようにする。
• 埋め込みベースの拡散モデルでは、前向きプロセスと逆方向プロセスにおいて、離散トークンを連続ベクトルにマッピングし、再び離散化するための埋め込みと丸め機構を導入する。
• 変換器と拡散モデルを組み合わせたアーキテクチャの変種を分析し、注目メカニズムが拡散プロセスにおける逐次的および時間的ダイナミクスをどのように処理するかに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 自然言語処理タスクにおいて、拡散モデルは自己回帰モデルと比較して、生成速度、制御性、耐性性の面でどのように異なるか？
• RQ2 テキスト生成における離散的拡散モデルと埋め込みベースの拡散モデルの主なアーキテクチャ的差異は何か？
• RQ3 変換器を拡散モデルに効果的に統合することで、自然言語処理におけるシーケンスモデリングの性能をどのように向上させられるか？
• RQ4 特に少数の例学習とマルチモーダルな設定において、自然言語処理における拡散モデルの今後の最も有望な方向性は何か？
• RQ5 自然言語のような離散的・構造的データに拡散モデルを適用する際、残された主な課題は何か？

主な発見

• 拡散モデルは自己回帰モデルを上回り、すべてのトークンを同時に生成できる並列生成により、より高速な推論を実現する。
• 拡散モデルは、文法的・意味的操作といったトークンレベルの制御や、テキスト補間において優れた性能を示す。
• 入力にノイズが加わった場合でも、自己回帰モデルよりも高い耐性性を示し、生成品質を維持する。
• 埋め込みベースの拡散モデルは、離散トークンを連続空間にマッピングし、ガウスノイズを適用することで、競争力のある結果を得ている。逆方向サンプリングでは丸めが用いられる。
• 離散的拡散モデルは、トークンレベルでの離散的摂動を適用することで、テキストの離散的性質を保ったまま拡散プロセスを一般化する。
• 今後の研究は、少数の例学習に適したスケーリングされた拡散言語モデルの開発と、視覚と言語を統合するマルチモーダルな拡散モデルの開発に注力すべきである。