[論文レビュー] GlyphDiffusion: Text Generation as Image Generation

Junyi Li, Wayne Xin Zhao+2 more|arXiv (Cornell University)|Apr 25, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

GlyphDiffusionは、ターゲットテキストを高精細なグリフ画像としてレンダリングすることで、条件付きテキスト生成をテキストガイド付き画像生成タスクとして扱う、新しいテキスト生成フレームワークを提案する。これらの視覚的表現上で連続拡散モデルを活用し、テキストエンタインメントモジュールを統合することで、自己回帰的および非自己回帰的モデル、ならびに先行する拡散ベースのアプローチを上回る最先端の性能を達成する。

ABSTRACT

Diffusion models have become a new generative paradigm for text generation. Considering the discrete categorical nature of text, in this paper, we propose GlyphDiffusion, a novel diffusion approach for text generation via text-guided image generation. Our key idea is to render the target text as a glyph image containing visual language content. In this way, conditional text generation can be cast as a glyph image generation task, and it is then natural to apply continuous diffusion models to discrete texts. Specially, we utilize a cascaded architecture (ie a base and a super-resolution diffusion model) to generate high-fidelity glyph images, conditioned on the input text. Furthermore, we design a text grounding module to transform and refine the visual language content from generated glyph images into the final texts. In experiments over four conditional text generation tasks and two classes of metrics (ie quality and diversity), GlyphDiffusion can achieve comparable or even better results than several baselines, including pretrained language models. Our model also makes significant improvements compared to the recent diffusion model.

研究の動機と目的

• 離散的テキスト生成に連続拡散モデルを適応させる挑戦に取り組むこと。これは、トークンの本質的なカテゴリカル性に起因する制約に起因する。
• テキスト用の拡散モデルの学習における不安定性を解消するため、動的で連続的な表現を学習するのではなく、固定された視覚的ターゲット（グリフ画像）を用いること。
• レンダリングされたテキスト画像上で、級連拡散モデルの強力な画像生成能力を活用することで、テキスト生成の質と多様性を向上させること。
• ビジョンベースの拡散モデルと自然言語生成の間のギャップを、新しい画像からテキストへの精錬パイプラインを通じて埋める。

提案手法

• 離散的テキスト生成を連続的画像生成タスクに変換するため、ターゲットテキストをグリフ画像としてレンダリングすること。
• ベースモデルとスーパーレゾリューションモデルを備えた級連拡散アーキテクチャを採用し、高精細なグリフ画像を生成すること。
• 固定されたT5エンコーディングされたテキスト埋め込みに条件付けられた分類器フリーのガイドランスを用いて、生成されたグリフ画像内のコンテンツ忠実度を向上させること。
• 生成されたグリフ画像から視覚的言語コンテンツを精錬し、一貫性があり最終的なテキスト出力へと変換するテキストエンタインメントモジュールを導入すること。
• 固定されたグリフ画像ターゲット上で拡散モデルを訓練することで、ノイズ除去損失の安定化とトレーニング中の分布シフトの回避を実現すること。
• 入力の意味を一貫してかつ意味のある条件付けとして保証するため、固定されたT5モデルを用いて入力の符号化を行うこと。

実験結果

リサーチクエスチョン

• RQ1 レンダリングされたグリフ画像を用いて、テキスト生成を条件付き画像生成タスクとして効果的に再定式化できるか？
• RQ2 動的連続表現を学習するのではなく、固定された視覚的ターゲット（グリフ画像）を用いることで、離散的シーケンス用の拡散モデルの学習が安定化するか？
• RQ3 分類器フリーのガイドランスを備えた級連拡散モデルが、意味的・文法的正確性を保持する高精細なグリフ画像を生成できるか？
• RQ4 画像からテキストへの直接デコードと比較して、テキストエンタインメントモジュールは生成テキストの質と滑らかさをどの程度向上させるか？
• RQ5 生成品質と多様性の観点から、GlyphDiffusionは自己回帰的、非自己回帰的、および先行する拡散ベースのテキスト生成モデルと比較して、どのように差をつけるか？

主な発見

• 条件付きテキスト生成タスクにおいて、GlyphDiffusionは自己回帰的および非自己回帰的ベースラインと比較して、BLEUおよびROUGE-Lスコアで50％以上の向上を達成した。
• Quasar-Tデータセットにおいて、GlyphDiffusionは以前の最先端の拡散モデルと比較してBLEUスコアを+2.54ポイント向上させた。
• GYAFCデータセットでは、Diverse-4スコアが+2.24向上し、優れた生成多様性を示した。
• 4つの評価対象の条件付きテキスト生成タスクすべてにおいて、強力な自己回帰的および非自己回帰的モデルを上回る性能を発揮した。
• アブレーションスタディの結果、テキストエンタインメントモジュールを削除すると生成品質が著しく低下し、その重要性が確認された。
• 固定されたグリフ画像ターゲットの使用により、ノイズ除去損失の崩壊が防止され、離散的テキスト上での連続拡散モデルの安定した学習が可能になった。