[論文レビュー] DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models

Shansan Gong, Mukai Li+3 more|arXiv (Cornell University)|Oct 9, 2023

Speech Recognition and SynthesisComputer Science被引用数 3

ひとこと要約

DiffuSeq-v2 は、離散的で連続的なテキスト空間を接続する学習されたソフト吸収状態を導入することで、sequence-to-sequence テキスト生成を高速化し、品質を損なわずに訓練収束を早め、DPM-solver++ を用いて 800 倍高速なサンプリングを実現する。この手法は、離散ノイズの注入により訓練と推論を整合させ、MBRデコードの必要性を排除する。

ABSTRACT

Diffusion models have gained prominence in generating high-quality sequences of text. Nevertheless, current approaches predominantly represent discrete text within a continuous diffusion space, which incurs substantial computational overhead during training and results in slower sampling speeds. In this paper, we introduce a soft absorbing state that facilitates the diffusion model in learning to reconstruct discrete mutations based on the underlying Gaussian space, thereby enhancing its capacity to recover conditional signals. During the sampling phase, we employ state-of-the-art ODE solvers within the continuous space to expedite the sampling process. Comprehensive experimental evaluations reveal that our proposed method effectively accelerates the training convergence by 4x and generates samples of similar quality 800x faster, rendering it significantly closer to practical application. \footnote{The code is released at \url{https://github.com/Shark-NLP/DiffuSeq}

研究の動機と目的

• 連続的拡散モデルにおけるテキスト生成の遅い訓練およびサンプリング速度を改善すること。
• 拡散ベースの Seq2Seq モデルにおける訓練段階と推論段階の分布ギャップを埋めること。
• MBRデコードに依存せずに、離散的および連続的拡散プロセスを整合させることで、サンプリングを高速化すること。
• DPM-solver++ などの最先端の ODE スolver をテキスト拡散モデルに統合し、推論を高速化すること。
• 連続的および離散的ノイズ源の共同復元を通じて、モデルの収束性と生成品質を向上させること。

提案手法

• 訓練中にシーケンスに注入される学習されたソフト吸収状態を導入し、離散的トークン変更を模倣する。
• 時間に依存する割合を用いて、連続的トークン埋め込みをソフト吸収状態にランダムに置き換えることで、ハイブリッドノイズスケジュールを構築する。
• 訓練中にガウスノイズと離散的吸収状態摂動の両方を共同で復元することで、離散信号の再構成を強化する。
• DPM-solver++ をテキスト生成に適応させ、わずか 2 ステップで高品質なサンプリングを可能にする。
• 推論時にクラamp操作を削除するために、離散ノイズの注入により訓練とサンプリングを整合させ、丸め誤差を低減する。
• 収束を加速し、総訓練時間を 4 倍以上短縮するために FP16 ミックス精度訓練を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習されたソフト吸収状態は、拡散モデルにおける離散的および連続的テキスト空間のギャップを効果的に埋め合わせることができるか？
• RQ2 訓練中に離散的ノイズを注入することで、訓練と推論の整合性が向上し、MBRデコードの必要性が低下するか？
• RQ3 DPM-solver++ などの最先端の ODE スolver は、テキスト拡散モデルに効果的に適用可能か？
• RQ4 連続的および離散的ノイズの共同復元は、訓練収束性および生成品質をどの程度向上させるか？
• RQ5 吸収状態の割合を制御するハイパーパramータが、モデルのパフォーマンスおよび安定性にどのように影響するか？

主な発見

• DiffuSeq-v2 は、共同復元と FP16 訓練を用いることで、元の DiffuSeq より 4 倍速い訓練収束を達成する。
• MBRデコードを用いた DiffuSeq と比較して、800 倍速い高品質なサンプリングを実現し、わずか 2 ステップのサンプリングで同等の BLEU スコアを達成する。
• DPM-solver++ を用いて 2 ステップでサンプリングすると、MBRデコード（10 ステップ）を用いた DiffuSeq よりも速度と品質の両面で優れている。
• クラamp操作を推論時に削除しても、ソフト吸収状態による訓練・推論の整合性向上のおかげで、性能への影響は最小限に抑えられる。
• アブレーションスタディにより、ソフト吸収状態が極めて重要であることが確認された。推論時にこれを除去すると BLEU スコアが 14.9% 減少し、その整合性維持における役割が明確になった。
• 最適な吸収状態割合 γ = 0.5 が性能をバランスよく保つことが判明し、極端な値は生成品質を劣化させる。