[論文レビュー] From Pixels to Policies: Reinforcing Spatial Reasoning in Language Models for Content-Aware Layout Design

Sha Li, Stefano Petrangeli+2 more|arXiv (Cornell University)|Feb 14, 2026

Interactive and Immersive Displays被引用数 0

ひとこと要約

LaySPA は、構造化されたテキストキャンバス上で LLM を用いたポリシー学習としてレイアウト設計を再定義し、多目的空間批評によって幾何的妥当性、関係的一貫性、美学を向上させるためにピクセルレベルの監督なしで最適化します。

ABSTRACT

We introduce LaySPA, a reinforcement learning framework that equips large language models (LLMs) with explicit and interpretable spatial reasoning for content-aware graphic layout design. LaySPA addresses two key challenges: LLMs' limited spatial reasoning and the lack of opacity in design decision making. Instead of operating at the pixel level, we reformulate layout design as a policy learning problem over a structured textual spatial environment that explicitly encodes canvas geometry, element attributes, and inter-element relationships. LaySPA produces dual-level outputs comprising interpretable reasoning traces and structured layout specifications, enabling transparent and controllable design decision making. Layout design policy is optimized via a multi-objective spatial critique that decomposes layout quality into geometric validity, relational coherence, and aesthetic consistency, and is trained using relative group optimization to stabilize learning in open-ended design spaces. Experiments demonstrate that LaySPA improves structural validity and visual quality, outperforming larger proprietary LLMs and achieving performance comparable to specialized SOTA layout generators while requiring fewer annotated samples and reduced latency.

研究の動機と目的

• content-aware レイアウト設計における明示的な空間推論の必要性を動機づける。
• 構造化テキスト空間環境を用いたポリシー学習フレームワークとして LaySPA を提案する。
• 透明性と制御のためのデュアル出力（設計推論トレースとレイアウト仕様）を提供する。
• 幾何的妥当性、整合性、美学を指向する多目的空間批評を導入する。

提案手法

• エンコードされた幾何と関係を持つ構造化テキストキャンバス上のポリシー学習問題としてレイアウト設計を再定義する。
• LaySPA を用いてデュアル出力：設計推論トレースと正確な JSON レイアウト仕様を生成する。
• キャンバスを要素と顕著性領域を持つ空間的な環境に grounding する。
• 幾何的妥当性、関係的一貫性、美学を報いるフォーマット・品質・IoU の多目的批評を適用する。
• 候補レイアウト群内の相対優位性を用いた GRPO（Group Relative Policy Optimization）で学習を train する。
• 人間設計参照からの IoU ベースの監督信号で学習をアンカー付けすることも可能。

実験結果

リサーチクエスチョン

• RQ1 明示的な報酬駆動のポリシー最適化は LaySPA が prompts ベースの LLM ベースラインを超える空間推論を学習することを可能にするか。
• RQ2 LaySPA は構造的妥当性と視覚品質において自己回帰型およびマルチモーダルなレイアウト生成器とどう比較されるか。
• RQ3 テキストベースのポリシー最適化レイアウト設計と専門的なレイアウト生成器との性能ギャップはどれくらいか。

主な発見

Model	Ove(CGL)↓	Und(CGL)↑	Occ(CGL)↓	Ove(PKU)↓	Und(PKU)↑	Occ(PKU)↓
Real Data	-	0.0003	0.9926	0.1379	0.0013	0.9974	0.1828
DS-GAN (30M)	0.0361	0.6309	0.1521	0.0336	0.7613	0.2574
PosterLlama (7B)	0.0024	0.9918	0.1476	0.0032	0.9998	0.2087
GPT-4o (200B)	0.0365	0.5873	0.1591	0.0371	0.6384	0.2743
Qwen-7B (7B)	0.0474	0.5729	0.1615	0.0479	0.6059	0.2384
Qwen-7B + LaySPA (7B)	0.0257	0.6989	0.1487	0.0260	0.7688	0.2072

• LaySPA は整合性 (+63%) および間隔の一貫性 (+73%)、フォーマット正確性 (+14%)、分布一貫性 (+26%) を大幅に向上させ、衝突を 36% 減少させる。
• LaySPA は最先端のレイアウト法と競合する性能を示し、データセットあたりの訓練レイアウトがわずか 3000 件でもいくつかのベースラインを上回る。
• LaySPA は高品質において専門的なマルチモーダル生成器に近づき、ピクセルレベルの監督なしではるかに少ない注釈サンプルで達成。
• Qwen-7B + LaySPA は基本モデルと比較して構造指標を大幅に改善し、報酬駆動型空間推論の価値を示唆。
• IoU ベースの監督単独では空間推論には脆弱であることをアブレーションで示す。