[論文レビュー] Diffusion Models in NLP: A Survey

Yuansong Zhu, Yu Zhao|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用数 14

ひとこと要約

この論文はNLPにおける拡散モデルを概観し、それらの理論を詳述するとともに、NLP文献をテキスト生成、テキストから画像生成、テキスト読み上げ、その他のタスクで整理している。

ABSTRACT

Diffusion models have become a powerful family of deep generative models, with record-breaking performance in many applications. This paper first gives an overview and derivation of the basic theory of diffusion models, then reviews the research results of diffusion models in the field of natural language processing, from text generation, text-driven image generation and other four aspects, and analyzes and summarizes the relevant literature materials sorted out, and finally records the experience and feelings of this topic literature review research.

研究の動機と目的

• NLPタスクにとって強力な生成フレームワークとして拡散モデルを動機づける。
• DDPMベースの拡散モデルの基本理論と式を提示する。
• 複数のタスク領域にわたって拡散モデルを用いるNLP文献を整理・レビューする。
• 引用論文のコードの入手性と引用パターンを収集・分析する。

提案手法

• 拡散過程と逆拡散過程をガウスノイズを持つマルコフ連鎖として説明する。
• 拡散モデルの前方・後方遷移の主要方程式を導出する（例: X_t = sqrt{a_t} X_{t-1} + sqrt{1-a_t} Z）。
• NLPにおける応用を概観する: テキスト生成、テキスト駆動画像生成、テキスト音声合成、その他のタスク。
• データセット、方法、報告された結果に重点を置いて文献を要約する。
• 拡散-NLP文献における刊行媒体と引用傾向を分析する。

実験結果

リサーチクエスチョン

• RQ1 NLPで用いられる拡散モデルの中核となる理論的基盤と公式は何か？
• RQ2 拡散モデルはNLPのテキスト生成、テキスト駆動画像生成、テキスト音声合成へどのように適用されてきたか？
• RQ3 拡散モデルNLP研究の刊行媒体と引用の傾向はどうなっているか？
• RQ4 拡散ベースのNLPアプリケーションで特筆すべき課題と方向性は何か？

主な発見

• 拡散モデルは2021年以降NLPで急速に成長しており、DDPMは2020年に起源、NLPに焦点を当てた研究は2022年までに加速している。
• 応用はテキスト生成、テキスト駆動画像生成、テキスト音声合成に及び、他のタスクへの探求も増えている。
• 拡散ベースのNLPモデルのいくつかは離散データ、制御可能な生成、非自己回帰生成に対処している。
• 文献はarXivとCVPR、ACM-MM、ICLR/ICML/NeurIPSなどの主要会場に集中しており、異分野の関心を反映している。
• NLPでは、テキストから画像生成はテキスト生成やテキスト音声合成より引用数が多い傾向にある。