[論文レビュー] Self-conditioned Embedding Diffusion for Text Generation

Robin Strudel, Corentin Tallec+9 more|arXiv (Cornell University)|Nov 8, 2022

Topic Modeling被引用数 21

ひとこと要約

本論文は Self-conditioned Embedding Diffusion (SED) を導入する。SED はトークン埋め込み上で動作する連続拡散モデルで、条件付きおよび条件なしのテキスト生成を可能にし、自己回帰モデルと競合する結果を達成し、アクセラレータでの推論効率の潜在性を持つ。

ABSTRACT

Can continuous diffusion models bring the same performance breakthrough on natural language they did for image generation? To circumvent the discrete nature of text data, we can simply project tokens in a continuous space of embeddings, as is standard in language modeling. We propose Self-conditioned Embedding Diffusion, a continuous diffusion mechanism that operates on token embeddings and allows to learn flexible and scalable diffusion models for both conditional and unconditional text generation. Through qualitative and quantitative evaluation, we show that our text diffusion models generate samples comparable with those produced by standard autoregressive language models - while being in theory more efficient on accelerator hardware at inference time. Our work paves the way for scaling up diffusion models for text, similarly to autoregressive models, and for improving performance with recent refinements to continuous diffusion.

研究の動機と目的

• テキスト拡散を、離散拡散法の代替となる連続空間として動機づける。
• トークン埋め込み空間でテキストをモデル化する連続拡散プロセスを開発する。
• 自己条件付けと固定埋め込みを組み込み、拡散ベースのテキスト生成を改善する。
• スパンマスキングと分類器なしのガイダンスを用いて条件付き生成を有効にする。
• 標準タスクで拡散ベースのテキスト生成を自己回帰ベースラインと比較して評価する。

提案手法

• 固定埋め込み行列 E を通じてトークンをマッピングすることで、固定埋め込み空間で拡散を行う。
• ノイズ付き埋め込み x_t から x0 を予測するデノイジングネットワークを、順方向および逆方向拡散過程の簡略化された損失で訓練する。
• 固定 E を更新せずに、デノイズ済み埋め込みをトークンロジットへ戻すためにリードアウト行列 R を用いる。
• サンプリング中に前回の x0 推定値をデノイニングネットワークに入力して、自己条件付けを適用する。
• 条件づけ/補填タスクを作成し、条件付き生成を有効にするためにスパンマスキングを実装する。
• サンプリング時に条件なし予測と条件付き予測の間を補間するために分類器なしのガイダンスを使用する。

実験結果

リサーチクエスチョン

• RQ1 固定トークン埋め込み上の連続拡散は、テキスト生成において自己回帰モデルと同等の品質を達成できるか？
• RQ2 自己条件付け、埋め込みの選択、スパンマスキングは、条件なしおよび条件付きのテキスト生成にどう影響するか？
• RQ3 拡散ベースのモデルはガイダンスを活用してテキストタスクのサンプル忠実度を向上させられるか？

主な発見

• SED モデルは、条件付きおよび条件なしタスクで、同程度の規模の自己回帰ベースラインと競合するサンプル品質を達成する。
• ガイダンスの適用（分類器なし）により、Sedモデルのサンプル品質が大幅に向上する。
• 自己条件付けと事前学習済み埋め込みは、性能とトピック整合性を大幅に改善する。
• 埋め込み次元を増やすと閾値効果が現れ、ある点までは利点があるがそれ以上は劣化する。
• スパンマスキングは条件なし生成を強化し、多様な条件づけシナリオをサポートする。
• パラメータを135Mから420Mへスケールすると、AR NLLと人間の好みに改善が見られ、モデルサイズの大きさとともに性能が向上することを示している。