[論文レビュー] LayoutPrompter: Awaken the Design Ability of Large Language Models

Jiawei Lin, Jiaqi Guo+4 more|arXiv (Cornell University)|Nov 11, 2023

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

LayoutPrompter は、入出力のシリアル化、動的エグジンプル選択、レイアウトランク付けの3つのコアコンponentsを用いた、コンテキスト内学習を活用する訓練フリーで多様性に富んだ方法であり、大規模言語モデル（LLMs）を用いて条件付きグラフィックレイアウト生成を実現する。微調整を一切行わず、7つのレイアウト生成タスクで最先端または優れた性能を達成しており、低データ環境下でも高いデータ効率性と頑健性を示している。

ABSTRACT

Conditional graphic layout generation, which automatically maps user constraints to high-quality layouts, has attracted widespread attention today. Although recent works have achieved promising performance, the lack of versatility and data efficiency hinders their practical applications. In this work, we propose LayoutPrompter, which leverages large language models (LLMs) to address the above problems through in-context learning. LayoutPrompter is made up of three key components, namely input-output serialization, dynamic exemplar selection and layout ranking. Specifically, the input-output serialization component meticulously designs the input and output formats for each layout generation task. Dynamic exemplar selection is responsible for selecting the most helpful prompting exemplars for a given input. And a layout ranker is used to pick the highest quality layout from multiple outputs of LLMs. We conduct experiments on all existing layout generation tasks using four public datasets. Despite the simplicity of our approach, experimental results show that LayoutPrompter can compete with or even outperform state-of-the-art approaches on these tasks without any model training or fine-tuning. This demonstrates the effectiveness of this versatile and training-free approach. In addition, the ablation studies show that LayoutPrompter is significantly superior to the training-based baseline in a low-data regime, further indicating the data efficiency of LayoutPrompter. Our project is available at https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.

研究の動機と目的

• 既存のレイアウト生成手法の限界に対処する。これらの手法は通常、タスク固有であり、大量の訓練データを必要とする。
• 微調整なしに、UI、ポスター、文書など多様な条件付きレイアウト生成タスク（例：テキストからレイアウト、コンテンツに配慮した、制約を明示した）を統一的かつ多様性を持って処理するアプローチを実現する。
• 大規模なアノテート済みデータセットへの依存を減らし、特にリソースが限られたレイアウトドメインにおいて、データ効率性を向上させる。
• 事前学習済み LLM のコンテキスト内学習能力を活用し、パラメータの更新なしに高品質なレイアウトを生成する。
• 専用のレイアウトランク付け機構と動的エグジンプル選択を用いて、レイアウト品質と制約遵守度を向上させる。

提案手法

• 入出力シリアル化により、レイアウト制約と出力を構造化されたトークンシーケンスに変換し、LLM がシーケンス・ツー・シーケンスタスクとして処理できるようにする。
• 動的エグジンプル選択は、入力制約と類似する意味的類似度に基づき、リトライーブプールから最も関連性の高いデモンストレーション例を取得する。
• レイアウトランカーは、複数の LLM が生成したレイアウトを評価し、mIoU、FID、整合性などの指標を用いて最高品質の出力を選択する。
• この手法は完全にコンテキスト内学習の設定で動作し、微調整やモデル更新を一切必要としない。
• 同じ LLM とプロンプトフレームワークを用いて、UI、ポスター、文書など多様なレイアウトドメインとタスクに一貫して適用可能である。
• エグジンプルのリtrieval は、密度ベクトル検索法を用いて実行され、各入力に対して関連性の高いデモンストレーションが選択される。

実験結果

リサーチクエスチョン

• RQ1 LLM を基盤とする統一的で訓練フリーのアプローチは、タスク固有のモデル適応なしに、複数の条件付きレイアウト生成タスクを効果的に処理できるか？
• RQ2 特にデータ効率性の観点から、LayoutPrompter は微調整ベースのベースラインと比較して低データ環境下でどのように性能を発揮するか？
• RQ3 入出力シリアル化と動的エグジンプル選択は、レイアウト品質と制約遵守度をどの程度向上させるか？
• RQ4 レイアウトランク付けコンponent は、LLM 出力のランダム選択と比較して、出力品質を顕著に向上させるか？
• RQ5 適切にプロンプトされた LLM は、レイアウトデータに対する明示的訓練なしに、視覚的に整合性があり美しく洗練されたレイアウトを生成できるか？

主な発見

• LayoutPrompter は、4つの公開データセット上で7つのレイアウト生成タスクで、微調整なしに最先端または優れた性能を達成した。
• RICO データセットでは、Gen-TS タスクで mIoU 0.552、Refinement タスクで mIoU 0.745 を達成し、低データ環境下でも訓練ベースのベースラインである LayoutFormer++ を上回った。
• アブレーションスタディでは、レイアウトランカーを削除すると、Gen-T で mIoU が最大 0.08 減少し、Refinement で 0.04 減少した。これは、出力品質におけるレイアウトランカーの重要性を示している。
• 動的エグジンプル選択は不可欠である：これを削除すると、Gen-T で mIoU が 0.251、Gen-TS で 0.337 に低下し、関連性の高いデモンストレーションが欠落した場合の性能劣化が顕著に現れた。
• 訓練データが限られた状況（500 サンプル）でも、LayoutPrompter は LayoutFormer++ を大きく上回った（例：Gen-T で mIoU：0.343 対 0.176）。これは、優れたデータ効率性を裏付けている。
• UI、ポスター、文書など多様なレイアウトドメインにおいても、強力な性能を維持しており、高い多様性と一般化能力を示している。