[論文レビュー] Neural Design Network: Graphic Layout Generation with Constraints

Hsin-Ying Lee, Lu Jiang+5 more|arXiv (Cornell University)|Dec 19, 2019

Visual Attention and Saliency Detection参考文献 37被引用数 9

ひとこと要約

本稿では、ユーザーが指定するコンponentと制約から視覚的に魅力的なグラフィックデザインレイアウトを生成する、3モジュール構成のディーブラーニングフレームワーク「Neural Design Network (NDN)」を提案する。完全なコンponent関係の予測、反復的なバウンディングボックス生成、レイアウト整合性の最適化により、NDNはユーザーの制約を満たし、リアルさと整合性の面で既存手法を上回る高品質なレイアウトを生成する。RICO、Magazine、および新規の広告データセットを用いた検証でその有効性が確認された。

ABSTRACT

Graphic design is essential for visual communication with layouts being fundamental to composing attractive designs. Layout generation differs from pixel-level image synthesis and is unique in terms of the requirement of mutual relations among the desired components. We propose a method for design layout generation that can satisfy user-specified constraints. The proposed neural design network (NDN) consists of three modules. The first module predicts a graph with complete relations from a graph with user-specified relations. The second module generates a layout from the predicted graph. Finally, the third module fine-tunes the predicted layout. Quantitative and qualitative experiments demonstrate that the generated layouts are visually similar to real design layouts. We also construct real designs based on predicted layouts for a better understanding of the visual quality. Finally, we demonstrate a practical application on layout recommendation.

研究の動機と目的

• ユーザーが指定するコンponent関係や空間的制約を反映した、高品質で制約に配慮したグラフィックデザインレイアウトを生成する課題に対処すること。
• ピクセル空間の生成モデルよりも、複雑なコンponent間の依存関係（例：「上に」「より大きい」「周囲に」）をより効果的にモデル化すること。
• 部分的な制約や動的レコメンデーションを含む、柔軟なユーザー制御をレイアウト生成に可能にすること。
• 予測されたレイアウトから実際のアセットを用いて設計を構築することで、定量的指標を越えた視覚的品質を検証すること。
• 実世界のデザインワークフローにおける実用的価値を示すために、レイアウト推薦アプリケーションの構築を試みること。

提案手法

• コンponentをノード、関係（例：「上に」「より大きい」）をエッジとするグラフベースの表現を採用し、コンponent間の相互作用を構造的にモデル化する。
• 関係予測モジュールは、ユーザーが指定した制約に基づく部分的に指定された入力グラフから、完全なコンponent関係グラフを推定する。
• レイアウト生成モジュールは、GNNベースのアーキテクチャを用いて、グラフに従った反復的かつ条件付きな方法でコンponentのバウンディングボックスを予測する。
• リファインメントモジュールは、予測されたバウンディングボックスを微調整し、重複を減らし、視覚的品質を向上させる。
• 推論時にコンponentの順序をランダムにすることで、レイアウト推薦や1つを除いた予測といったユースケースを柔軟にサポートする。
• モデルは、RICO、Magazine、および多様なレイアウトタイプを有する新規に収集したバナー広告データセットの3つのデータセットで訓練および評価されている。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、ユーザーが指定する空間的・関係的制約を満たす視覚的に現実的で魅力的なグラフィックレイアウトを生成できるか？
• RQ2 グラフベースの表現は、レイアウトデザインにおける複雑なコンponent関係（例：「上に」「周囲に」）をどれほど効果的に捉え、予測できるか？
• RQ3 提案された3モジュールフレームワーク（関係予測、レイアウト生成、リファインメント）は、ベースライン手法と比較してどの程度レイアウト品質を向上させるか？
• RQ4 モデルは、レイアウト推薦やアセットベースのデザイン構築といった実世界のデザイン応用に一般化できるか？
• RQ5 コンponentの順序付けと潜在空間サンプリングは、レイアウト生成の品質と一貫性にどのような影響を与えるか？

主な発見

• 提案されたNDNモデルは、部分的な制約下でも、ベースライン手法よりも視覚的に現実的で整合性の高いレイアウトを生成する。
• NDNは、LayoutVAE や sg2im よりもコンponent関係の処理が優れており、重複や不整合な配置の削減に効果的である。
• 制約なしでもNDNは妥当なレイアウトを生成することができ、グラフベースの設計による強いインダクティブバイアスを示している。
• 予測されたレイアウトに基づいて実際のアセットを用いて構築されたデザインは、生成されたレイアウトの視覚的品質と実用性を裏付けている。
• レイアウト推薦アプリケーションは、部分的なキャンバスが与えられた場合に最適なコンponent配置を効果的に提案でき、実用的価値を示している。
• 失敗事例の主な原因は、潜在空間内の低データ領域や、学習データに稀なコンponent構成（例：3つのボタンと2つのロゴ）に起因する。