[論文レビュー] LayoutDM: Transformer-based Diffusion Model for Layout Generation

Shang Chai, Liansheng Zhuang+1 more|arXiv (Cornell University)|May 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、畳み込みネットワークの代わりに純粋なトランスフォーマー・アーキテクチャを用いてレイアウトデータのノイズ除去を行う、条件付きレイアウト生成を目的としたトランスフォーマー基盤の拡散モデル、LayoutDMを提案する。自己注意機構を活用することで、レイアウト品質、多様性、学習安定性の面で最先端の性能を達成し、PublayNet や COCO などのベンチマークデータセットにおいて GAN や VAE を上回っている。

ABSTRACT

Automatic layout generation that can synthesize high-quality layouts is an important tool for graphic design in many applications. Though existing methods based on generative models such as Generative Adversarial Networks (GANs) and Variational Auto-Encoders (VAEs) have progressed, they still leave much room for improving the quality and diversity of the results. Inspired by the recent success of diffusion models in generating high-quality images, this paper explores their potential for conditional layout generation and proposes Transformer-based Layout Diffusion Model (LayoutDM) by instantiating the conditional denoising diffusion probabilistic model (DDPM) with a purely transformer-based architecture. Instead of using convolutional neural networks, a transformer-based conditional Layout Denoiser is proposed to learn the reverse diffusion process to generate samples from noised layout data. Benefitting from both transformer and DDPM, our LayoutDM is of desired properties such as high-quality generation, strong sample diversity, faithful distribution coverage, and stationary training in comparison to GANs and VAEs. Quantitative and qualitative experimental results show that our method outperforms state-of-the-art generative models in terms of quality and diversity.

研究の動機と目的

• GAN や VAE がレイアウト生成において抱える問題、例えばモード崩壊、学習の不安定性、最適でないサンプル品質の改善を目的とする。
• 拡散モデルの可能性を、離散的および連続的要素を併せ持つ可変長の混合モダリティデータとして表現されるレイアウトに、条件付き生成の文脈で探求すること。
• 複雑なレイアウト要素間の関係をモデル化し、可変長の入力を効果的に処理できる、完全にトランスフォーマー基盤のアーキテクチャを設計すること。
• 既存の生成モデルの欠陥を克服し、高精細なレイアウト生成を実現するとともに、強い多様性と忠実な分布カバレッジを達成すること。
• モデルの汎用性を、シーンレイアウトやテキストロゴ生成を含む多様なレイアウト生成タスクにわたって示すこと。

提案手法

• モデルは、逆方向のノイズ除去プロセスがトランスフォーマー基盤の条件付きレイアウトノイズ除去器（cLayoutDenoiser）によって学習される、条件付きノイズ除去拡散確率的モデル（DDPM）フレームワークを採用する。
• cLayoutDenoiser は、要素間の長距離依存関係や関係性を捉えるために、マルチヘッド自己注意機構を用いてノイズが加えられたレイアウトデータを処理するが、要素の順序を示す位置エンコーディングに依存しない。
• 入力レイアウト要素は、カテゴリカルラベルと2次元座標を組み合わせたトークンのシーケンスとして表現され、混合モダリティで可変長のレイアウトをトランスフォーマーが処理できるようにする。
• 条件付き入力は属性埋め込み（例：カテゴリラベル）によって提供され、それらはレイアウトトークンに連結されてノイズ除去プロセスをガイドする。
• モデルは、拡散ステップ全体にわたる元のレイアウトと再構築されたレイアウトの間の再構築損失を最小化する変分下界の目的関数に基づいて学習される。
• 推論時、モデルはユーザー指定の属性を条件として、ランダムなノイズベクトルを段階的にノイズ除去し、一貫性のあるレイアウトに変換する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの逆方向ノイズ除去プロセスにおいて、畳み込みネットワークの代わりに完全にトランスフォーマー基盤のアーキテクチャが有効に機能するか。
• RQ2 トランスフォーマーの自己注意機構が、畳み込み層よりもレイアウト要素間の複雑な空間的および意味的関係をより効果的にモデル化できるか。
• RQ3 提案された LayoutDM が、GAN や VAE よりも条件付きレイアウト生成において、より優れたサンプルの多様性と分布カバレッジを達成できるか。
• RQ4 LayoutDM は、標準的なドキュメントレイアウトにとどまらず、テキストロゴ生成やシーンレイアウト生成といった多様なレイアウト生成タスクにも汎用的に適用可能か。
• RQ5 既存の最先端モデルと比較して、LayoutDM の学習安定性と推論品質はどの程度の水準にあるか。

主な発見

• PublayNet データセットにおいて、LayoutGAN++ よりも視覚的品質と多様性の両面で優れていることが、定量的指標と定性的比較の両方で確認された。
• LayoutGAN++ よりも良好な要素のアライメントと、重複の少ないレイアウトを生成しており、空間的推論力とレイアウトの一貫性の向上が示された。
• COCO データセットでは、レイアウトDMが自然なシーンレイアウトを妥当に生成でき、ボートを川に、雲を空に正しく配置するなど、意味的および空間的関係の理解が強いことを示している。
• テキストロゴ生成においては、長文のテキストシーケンスを扱う際、LogoGAN よりもより柔軟で美的に洗練されたレイアウトを生成しており、縦横の剛性のない配置を回避している。
• モデルは安定した学習を示し、モード崩壊を回避しており、複数のランダムシードにわたって強力な分布カバレッジと一貫性のある性能を達成している。
• 繰り返しのノイズ除去プロセスを経ても、LayoutDM は競争力のある推論速度を維持し、ドキュメント、ロゴ、シーンレイアウトを含む多様なレイアウトタイプにわたる汎用性を示している。