[논문 리뷰] PLay: Parametrically Conditioned Layout Generation using Latent Diffusion

Chin-Yi Cheng, Forrest Huang외 2명|arXiv (Cornell University)|2023. 01. 27.

Computer Graphics and Visualization Techniques인용 수 8

한 줄 요약

PLay는 디자이너 가이드라인에 조건화된 벡터 그래픽 레이아웃을 생성하는 두 단계 잠재 확산 모델을 도입하여 UI 및 문서 데이터셋에서 최첨단 품질로 대화형 제어, 다양한 생성 및 인페인팅을 가능하게 한다.

ABSTRACT

Layout design is an important task in various design fields, including user interface, document, and graphic design. As this task requires tedious manual effort by designers, prior works have attempted to automate this process using generative models, but commonly fell short of providing intuitive user controls and achieving design objectives. In this paper, we build a conditional latent diffusion model, PLay, that generates parametrically conditioned layouts in vector graphic space from user-specified guidelines, which are commonly used by designers for representing their design intents in current practices. Our method outperforms prior works across three datasets on metrics including FID and FD-VG, and in user study. Moreover, it brings a novel and interactive experience to professional layout design processes.

연구 동기 및 목표

• 디자이너 친화적인 가이드라인을 사용하여 레이아웃 생성에서 직관적이고 매개변수화된 제어를 고무하고 가능하게 한다.
• 픽셀 공간이 아닌 벡터 그래픽 공간에서 작동하도록 두 단계 잠재 확산 프레임워크를 개발한다.
• 다수의 데이터셋에 대해 이전 연구보다 향상된 레이아웃 품질을 입증하고 대화형 편집 기능을 제공한다.

제안 방법

• 이산 벡터 그래픽 레이아웃을 1단계 Transformer 기반 인코더/디코더(DETR-inspired)와 KL 패널티로 연속 잠재 공간으로 변환한다.
• 가이드라인에 조건화된 잠재 확산 모델을 잠재 공간에서 학습하여 가이드라인에 조건화된 레이아웃을 생성하도록 classifier-free guidance를 사용한다.
• 가이드라인을 위치를 가진 축 정렬 분할로 표현하여 가이드라인 임베딩과 노이즈 제거 네트워크 간의 교차 주의(cross-attention)를 가능하게 한다.
• 요소 수를 선택적으로 샘플링하는 샘플링 스킴을 적용하고 가이드라인 조건부 확산을 사용하여 잠재 공간에서 레이아웃을 생성한 다음 벡터 그래픽으로 다시 디코딩한다.
• 이미지 및 벡터 그래픽 잠재 공간에서 FID와 FD-VG를 사용하여 평가하고, 가이드라인 준수를 측정하기 위한 G-Usage 지표를 추가하며, 전문 디자이너 대상 사용자 연구를 수행한다.

실험 결과

연구 질문

• RQ1 가이드라인이 확산 프레임워크에서 벡터 레이아웃 생성에 대해 정확하고 직관적인 조건부 제어를 제공할 수 있는가?
• RQ2 두 단계 잠재 확산 접근 방식이 UI 및 문서 도메인 전반에서 이전 벡터 레이아웃 모델들보다 레이아웃 품질을 향상시키는가?
• RQ3 디자이너가 PLay에서 가이드라인 기반의 편집(편집, 인페인팅, 변형)을 통해 레이아웃을 효과적으로 편집하고 상호작용할 수 있는가?
• RQ4 가이드라인 샘플링 전략이 생성 충실도와 준수도에 미치는 영향은 무엇인가?
• RQ5 전문가 평가에서 PLay가 생성한 레이아웃이 실제 정답(ground-truth) 및 이전 방법과 어떻게 비교되는가?

주요 결과

• PLay는 세 데이터셋에서 FID 및 FD-VG와 같은 객관적 지표에서 이전 연구보다 더 높은 품질의 레이아웃을 달성하며 디자이너 사용자 연구에서도 선호된다.
• 연속 공간으로의 1단계 잠재 매핑을 사용하는 것은 좋은 재구성 및 확산 수렴을 달성하는 데 중요하며, 픽셀로 직접 매핑하거나 단순한 인코더를 사용하는 기존 기준선보다 성능이 우수하다.
• 최적 가중치를 갖는 classifier-free guidance가 생성 품질과 가이드라인 준수를 향상시킨다.
• 가이드라인 기반 샘플링 전략(가중 샘플링)이 균일 샘플링보다 FID 및 가이드라인 활용 측면에서 더 우수하며 충실도와 유연성의 균형을 이룬다.
• PLay는 가이드라인 드래깅, 가이드라인 추가/제거, 제어 가능한 유사성으로 변형 생성, 레이아웃 인페인팅을 포함한 대화형 편집 워크플로를 가능하게 하여 실제 디자인 프로세스 워크플로를 강화한다.