[論文レビュー] Empowering Diffusion Models on the Embedding Space for Text Generation

Zhujin Gao, Junliang Guo+5 more|arXiv (Cornell University)|Dec 19, 2022

Music and Audio Processing被引用数 12

ひとこと要約

Difformerは、埋め込み空間での学習における主な課題——損失の崩壊、埋め込みノルムの不均衡、不十分なノイズ——を、アンカーロス、埋め込み層正規化、ノイズ係数を用いて解決する拡散ベースのテキスト生成モデルを提案する。従来の手法よりもはるかに少ない逆方向ステップ数で機械翻訳およびテキスト要約のタスクにおいて最先端の性能を達成する。

ABSTRACT

Diffusion models have achieved state-of-the-art synthesis quality on both visual and audio tasks, and recent works further adapt them to textual data by diffusing on the embedding space. In this paper, we conduct systematic studies of the optimization challenges encountered with both the embedding space and the denoising model, which have not been carefully explored. Firstly, the data distribution is learnable for embeddings, which may lead to the collapse of the embedding space and unstable training. To alleviate this problem, we propose a new objective called the anchor loss which is more efficient than previous methods. Secondly, we find the noise levels of conventional schedules are insufficient for training a desirable denoising model while introducing varying degrees of degeneration in consequence. To address this challenge, we propose a novel framework called noise rescaling. Based on the above analysis, we propose Difformer, an embedding diffusion model based on Transformer. Experiments on varieties of seminal text generation tasks show the effectiveness of the proposed methods and the superiority of Difformer over previous state-of-the-art embedding diffusion baselines.

研究の動機と目的

• 学習された埋め込みを用いた連続的拡散モデルを離散的テキスト生成に適用する際の根本的課題を調査・解決すること。
• 学習可能な埋め込みが最適化中にノイズ除去損失関数を崩壊させる原因となる不安定性を解消すること。
• 頻出語と希少語の間で埋め込みノルムが不均衡になることで生じる性能低下を軽減すること。
• ノイズスケーリングの強化によりノイズ除去タスクの難易度を高め、モデルの一般化性能を向上させることで、学習を改善すること。
• より少ない逆方向ステップ数で高品質なテキスト生成を実現し、推論効率を向上させること。

提案手法

• モデルパラメータと埋め込みパラメータの両方を正則化するアンカーロス関数を導入し、損失の崩壊を防ぐことで学習を安定化させる。
• 埋め込み層にレイヤー正規化を適用し、頻出語と希少語の両方の埋め込みのスケールを統一することで、ノルムのばらつきに起因するノイズへの感受性を低減する。
• 前向きな拡散プロセスで追加されるガウスノイズのスケーリングを高めるノイズ係数というハイパーパrameterを組み込み、ノイズ除去の難易度を高め、モデルの一般化性能を向上させる。
• 逆方向のノイズ除去プロセスにTransformerベースのアーキテクチャを採用し、連続的埋め込み空間における有効なシーケンスモデリングを可能にする。
• 逆方向プロセスに可変なステップ数Kを用い、性能の低下が生じる前に高品質な出力を維持するための早期停止戦略を導入する。
• すべてのコンponentsを共同最適化する形で、損傷させた埋め込みに対するノイズ除去目的関数に基づき、エンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 学習中に埋め込みの可学習性が、テキスト生成における拡散モデルの安定性と性能にどのように影響するか？
• RQ2 頻出語と希少語の間で埋め込みノルムが不均衡になると、均一なノイズ注入の効果がどの程度低下するか？
• RQ3 標準的なノイズスケジュールでは、特に低ノイズステップで学習が不十分になることがあり、ノイズの大きさを調整することでこれを緩和できるか？
• RQ4 提案されたコンponents（アンカーロス、正規化、ノイズ係数）は、生成品質と推論速度の両面で向上をもたらすか？
• RQ5 逆方向ステップ数が、拡散ベースのテキスト生成モデルの性能と効率にどのように影響するか？

主な発見

• Difformerは、機械翻訳およびテキスト要約タスクにおける5つのベンチマークデータセットにおいて、すべての比較対象となる拡散ベースおよび非自己回帰的ベースラインを上回る性能を達成する。
• わずか2ステップの逆方向ステップで強く安定した性能を発揮し、特にCMLMのような反復的非自己回帰モデルと比較して優れたロバストネスと効率性を示す。
• 低ステップ数での推論速度がCMLM比で3倍向上しており、リアルタイムデプロイの可能性が著しく高いことが示された。
• ノイズ係数は特に後段の逆方向ステップでノイズ除去能力を著しく向上させ、標準的なノイズスケーリングを用いたモデルで見られる性能の低下を防ぐ。
• アンカーロスは、埋め込みパラメータが最適化中に更新されても、損失の崩壊を効果的に防ぎ、学習を安定化させる。
• レイヤー正規化により、埋め込みノルムのばらつきの影響が軽減され、希少語と頻出語の両方で一貫した性能が得られた。