[논문 리뷰] LayoutDM: Transformer-based Diffusion Model for Layout Generation

Shang Chai, Liansheng Zhuang외 1명|arXiv (Cornell University)|2023. 05. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 레이아웃 데이터를 노이즈 제거하기 위해 순수한 트랜스포머 아키텍처를 사용하여 컨볼루션 네트워크를 대체하는 트랜스포머 기반 확산 모델인 LayoutDM을 제안한다. 자기주의 주의 메커니즘을 활용함으로써 LayoutDM은 PublayNet 및 COCO와 같은 벤치마크 데이터셋에서 레이아웃 품질, 다양성 및 훈련 안정성 측면에서 최신 기술을 초월한다. GAN과 VAE를 능가한다.

ABSTRACT

Automatic layout generation that can synthesize high-quality layouts is an important tool for graphic design in many applications. Though existing methods based on generative models such as Generative Adversarial Networks (GANs) and Variational Auto-Encoders (VAEs) have progressed, they still leave much room for improving the quality and diversity of the results. Inspired by the recent success of diffusion models in generating high-quality images, this paper explores their potential for conditional layout generation and proposes Transformer-based Layout Diffusion Model (LayoutDM) by instantiating the conditional denoising diffusion probabilistic model (DDPM) with a purely transformer-based architecture. Instead of using convolutional neural networks, a transformer-based conditional Layout Denoiser is proposed to learn the reverse diffusion process to generate samples from noised layout data. Benefitting from both transformer and DDPM, our LayoutDM is of desired properties such as high-quality generation, strong sample diversity, faithful distribution coverage, and stationary training in comparison to GANs and VAEs. Quantitative and qualitative experimental results show that our method outperforms state-of-the-art generative models in terms of quality and diversity.

연구 동기 및 목표

• GAN과 VAE가 레이아웃 생성에서 겪는 문제, 예를 들어 모드 붕괴, 불안정한 훈련, 열열한 샘플 품질 등의 한계를 해결하기 위해.
• 레이아웃이 이산적이고 연속적인 요소를 포함하는 가변 길이의 혼합 모odal 데이터로 구조화되어 있을 때, 확산 모델의 잠재적 잠재력을 조사하기 위해.
• 복잡한 레이아웃 요소 간의 관계를 모델링하고 가변 길이 입력을 효과적으로 처리할 수 있는 순수한 트랜스포머 아키텍처를 설계하기 위해.
• 기존 생성 모델의 단점을 극복하고 고해상도 레이아웃 생성을 실현하며 강력한 다양성과 정확한 분포 커버리지 확보하기 위해.
• 다양한 레이아웃 생성 작업, 예를 들어 시나리오 레이아웃과 텍스트 로고 생성에 걸쳐 모델의 일반화 능력을 입증하기 위해.

제안 방법

• 모델는 조건부 노이즈 제거 확산 확률 모델(DDPM) 프레임워크를 사용하며, 역방향 노이즈 제거 과정은 트랜스포머 기반의 조건부 레이아웃 노이즈 제거기(cLayoutDenoiser)에 의해 학습된다.
• cLayoutDenoiser는 다중 헤드 자기주의 주의를 사용하여 레이아웃 요소 간의 장거리 의존성과 관계를 포착하며, 요소 순서를 위한 위치 인코딩에 의존하지 않는다.
• 입력 레이아웃 요소는 카테고리 레이블과 2D 좌표를 조합한 토큰 시퀀스로 표현되어 트랜스포머가 혼합 모달, 가변 길이 레이아웃을 처리할 수 있도록 한다.
• 조건부 입력은 속성 임베딩(예: 카테고리 레이블)을 통해 제공되며, 이는 레이아웃 토큰과 연결되어 노이즈 제거 과정을 안내한다.
• 모델는 확산 단계 전반에 걸쳐 원본 레이아웃과 노이즈 제거된 레이아웃 간의 재구성 손실을 최소화하는 변분 하한 목적함수를 사용해 훈련된다.
• 추론 과정에서는 사용자가 지정한 속성에 따라 랜덤 노이즈 벡터를 반복적으로 노이즈 제거하여 일관성 있는 레이아웃으로 변환한다.

실험 결과

연구 질문

• RQ1 확산 모델의 역방향 노이즈 제거 과정에서 컨볼루션 네트워크를 순수한 트랜스포머 아키텍처로 효과적으로 대체할 수 있는가?
• RQ2 트랜스포머의 자기주의 주의 메커니즘이 컨볼루션 레이어보다 레이아웃 요소 간의 복잡한 공간적 및 의미적 관계를 더 효과적으로 모델링할 수 있는가?
• RQ3 제안된 LayoutDM이 GAN과 VAE보다 조건부 레이아웃 생성에서 더 뛰어난 샘플 다양성과 분포 커버리지 성능을 보일 수 있는가?
• RQ4 LayoutDM은 표준 문서 레이아웃을 초월해 텍스트 로고 및 시나리오 레이아웃 생성과 같은 다양한 레이아웃 생성 작업에 일반화될 수 있는가?
• RQ5 기존 최신 기술 모델과 비교해 LayoutDM의 훈련 안정성과 추론 품질 측면에서 성능은 어떠한가?

주요 결과

• PublayNet 데이터셋에서 LayoutDM은 정량적 지표와 정성적 비교를 통해 LayoutGAN++과 같은 최신 기술 모델을 품질과 다양성 측면에서 모두 능가한다.
• LayoutGAN++에 비해 요소 간 정렬이 더 우수하고 요소 겹침이 감소한 레이아웃을 생성함으로써 공간적 추론 능력과 레이아웃 일관성이 향상됨을 보여준다.
• COCO 데이터셋에서 LayoutDM은 자연스러운 시나리오 레이아웃을 성공적으로 생성하였으며, 배를 강에, 구름을 하늘에 정확히 배치함으로써 의미적 및 공간적 관계에 대한 강력한 이해를 보였다.
• 텍스트 로고 생성 과제에서는 더 유연하고 미적으로 매력적인 레이아웃을 LogoGAN보다 생성하였으며, 특히 긴 텍스트 시퀀스 처리 시 왼쪽에서 오른쪽으로 정렬된 뚜렷한 배열을 피하는 데 성공했다.
• 모델는 안정적인 훈련을 보이며 모드 붕괴를 피하고, 다양한 랜덤 시드에 걸쳐 강력한 분포 커버리지와 일관된 성능을 달성했다.
• 반복적인 노이즈 제거 과정임에도 불구하고 LayoutDM은 경쟁적인 추론 속도를 유지하며 문서, 로고, 시나리오 레이아웃을 포함한 다양한 레이아웃 유형에 대해 일반화 능력을 보였다.