[論文レビュー] PLay: Parametrically Conditioned Layout Generation using Latent Diffusion

Chin-Yi Cheng, Forrest Huang+2 more|arXiv (Cornell University)|Jan 27, 2023

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

PLayは、デザイナーのガイドラインに conditioned されたベクターグラフィックレイアウトを生成する二段階潜在拡散モデルを導入し、UIおよび文書データセット全体でインタラクティブ制御、変種生成、インペインティングを実現する最新品質で動作する。

ABSTRACT

Layout design is an important task in various design fields, including user interface, document, and graphic design. As this task requires tedious manual effort by designers, prior works have attempted to automate this process using generative models, but commonly fell short of providing intuitive user controls and achieving design objectives. In this paper, we build a conditional latent diffusion model, PLay, that generates parametrically conditioned layouts in vector graphic space from user-specified guidelines, which are commonly used by designers for representing their design intents in current practices. Our method outperforms prior works across three datasets on metrics including FID and FD-VG, and in user study. Moreover, it brings a novel and interactive experience to professional layout design processes.

研究の動機と目的

• デザイナーに優しいガイドラインを用いて、レイアウト生成に直感的でパラメトリックな制御を動機づけ、可能にする。
• ピクセル空間ではなくベクターグラフィック空間で動作する二段階潜在拡散フレームワークを開発する。
• 複数データセットにおいて従来手法よりレイアウト品質を向上させ、インタラクティブ編集機能を提供する。

提案手法

• 離散的なベクターグラフィックレイアウトを第一段階のTransformerベースのエンコーダ／デコーダ（DETR風）とKLペナルティを用いて連続潜在空間へ変換する。
• 潜在空間内でガイドラインを条件として生成する条件付き潜在拡散モデルを、分類子不要ガイダンスを用いて訓練する。
• ガイドラインを軸に揃えたパーティションとして位置を表現し、ガイドライン埋め込みとノイズ除去ネットワーク間のクロスアテンションを可能にする。
• 要素数を選択的にサンプリングするサンプリングスキームを適用し、ガイドライン条件付き拡散を用いて潜在空間でレイアウトを生成し、次にベクタグラフィックへデコードする。
• 画像空間とベクターグラフィック潜在空間でのFIDおよびFD-VGを評価し、ガイドライン遵守を測るG-Usage指標を導入し、専門デザイナーのユーザスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ガイドラインは拡散フレームワークにおいてベクターLayOut生成の正確で直感的な条件付けを提供できるか。
• RQ2 二段階潜在拡散アプローチはUIおよび文書領域で従来のベクターLayOutモデルよりレイアウト品質を改善するか。
• RQ3 PLay においてデザイナーはガイドラインに基づく操作（編集、インペインティング、バリエーション生成）を通じてレイアウトを効果的に編集・対話できるか。
• RQ4 生成忠実度と遵守に対するガイドラインサンプリング戦略の影響は何か。
• RQ5 PLay 生成レイアウトは専門家評価でグラウンドトゥルースおよび従来手法とどう比較されるか。

主な発見

• PLayはFIDおよびFD-VGといった客観指標で従来手法を上回る高品質レイアウトを三データセットで達成し、デザイナーのユーザスタディでも高評価を得た。
• 第一段階の潜在マッピングを連続空間へ変換することが、再構成と拡散収束のために重要であり、直接ピクセルへマップするか、ナイーブなエンコーダを用いるベースラインを上回る。
• 最適ウェイトを持つ分類子不要ガイダンスは生成品質とガイドライン遵守を改善する。
• ガイドラインベースのサンプリング戦略（重み付きサンプリング）は均等サンプリングよりFIDとガイドライン使用を向上させ、忠実度と柔軟性のバランスを取る。
• PLayはガイドラインドラッグ、ガイドラインの追加/削除、類似度を制御できるバリエーション生成、レイアウトのインペインティングといった対話的編集ワークフローを提供し、実務的なデザインプロセスを強化する。