[論文レビュー] TESS: Text-to-Text Self-Conditioned Simplex Diffusion

Rabeeh Karimi Mahabadi, Hamish Ivison+5 more|arXiv (Cornell University)|May 15, 2023

Topic Modeling被引用数 4

ひとこと要約

TESSは、ロジット単体空間上で直接拡散を実行する完全非自己回帰的テキスト拡散モデルを提案する。独自の自己条件付き機構を用いて生成品質を向上させ、要約、並記換え生成、テキスト簡略化、質問生成のタスクで最先端の非自己回帰的および拡散ベースのモデルを上回り、BARTのような強力な自己回帰的モデルと同等の性能を達成する。

ABSTRACT

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various continuous domains. However, applying continuous diffusion models to natural language remains challenging due to its discrete nature and the need for a large number of diffusion steps to generate text, making diffusion-based generation expensive. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models, requires fewer diffusion steps with minimal drop in performance, and is competitive with pretrained autoregressive sequence-to-sequence models. We publicly release our codebase at https://github.com/allenai/tess-diffusion.

研究の動機と目的

• 自己回帰的生成や埋め込み空間の依存関係を避けることで、離散的自然言語への拡散モデルの適用に伴う課題に対処すること。
• ロジット単体空間における新しい自己条件付き機構を用いて、非自己回帰的設定におけるテキスト生成品質を向上させること。
• 確率単体上での直接的拡散が、ブロック単位の制約なしに柔軟でグローバルなシーケンス生成を可能にすることを示すこと。
• 要約、並記換え、テキスト簡略化など多様なNLPタスクにおいて、強力な自己回帰的ベースラインと同等の性能を示すことで、モデルの評価を実施すること。
• 研究を促進するために、訓練済みモデルとコードを公開することで、拡散ベースのテキスト生成分野におけるオープンリサーチを前進させること。

提案手法

• TESSは語彙のロジット空間（単体空間）上で直接拡散を実行し、学習された埋め込みを回避することで、離散トークン上でエンドツーエンドの学習を可能にする。
• 単体空間の幾何的意味論を活用した、新しい形の自己条件付き機構を採用し、ノイズ除去の正確性と生成品質を向上させる。
• 標準的な拡散学習目的を採用：U-Netアーキテクチャを用いて、ロジットベクトルに加えられたノイズを復元する。ノイズスケジュールと逆過程のモデリングを含む。
• 推論時に自己条件付き機構を適用し、現在のシーケンス状態を逆ノイズ除去プロセスの条件付けに用いることで、一貫性と流暢さを向上させる。
• RoBERTaのチェックポイントからエンドツーエンドで学習し、追加の事前学習なしに下流タスクで微調整する。
• 推論では、生成に1000ステップ、分類に10ステップを使用し、単体スケールのハイパーパrameterとして $k=5$ を設定する。

実験結果

リサーチクエスチョン

• RQ1 完全非自己回帰的拡散モデルは、自己回帰的生成に依存せずに自然言語生成タスクで競争力のある性能を達成できるか？
• RQ2 ロジット単体空間における自己条件付き機構は、標準的な自己条件付き機構や無条件のものと比較して生成品質を向上させるか？
• RQ3 確率単体上での直接的拡散は、埋め込み空間や他の潜在空間における拡散と比較して、品質と柔軟性の両面で優れているか？
• RQ4 TESSは、要約、並記換え、テキスト簡略化などの多様なNLGおよびNLUタスクにおいて、BARTのような強力な自己回帰的モデルと比較してどうか？
• RQ5 提案された単体ベースの拡散フレームワークは、要約、並記換え生成、テキスト簡略化など複数のNLPタスクに一般化できるか？

主な発見

• 並記換え生成タスクにおいて、TESSはすべての非自己回帰的および拡散ベースのベースラインを上回り、BLEU、BERTScore、ROUGE-Lスコアが向上した。
• 要約タスクでは、BARTの事前学習目的を用いていないにもかかわらず、ROUGE-L F1スコアでBARTと同等の性能を達成した。
• テキスト簡略化タスクでは、先行する拡散モデルよりも顕著に高いSARIスコアを達成し、強力な自己回帰的モデルと同等の性能を示した。
• 質問生成タスクでは、品質と多様性の両方の指標で、すべての非自己回帰的および拡散ベースのベースラインを上回った。
• GLUEベンチマークでは、強力なマスク言語モデルと同等の性能を示し、自然言語理解タスクにおけるゼロショットおよびフェイワショット能力が優れていた。
• 提案された単体ベースの自己条件付き機構は、評価されたすべてのタスクで生成品質の顕著な向上をもたらしたことが実証された。