[논문 리뷰] LayoutGAN: Generating Graphic Layouts with Wireframe Discriminators

Jianan Li, Shuicheng Yan외 3명|arXiv (Cornell University)|2019. 01. 21.

Image Processing and 3D Reconstruction인용 수 31

한 줄 요약

LayoutGAN은 자기주의 어텐션과 미분 가능한 와이어프레임 렌더링 계층을 갖춘 생성자로 2차원 요소 간의 기하학적 관계를 모델링하여 구조적인 그래픽 레이아웃을 생성하는 혁신적인 GAN 프레임워크를 제안한다. 이는 CNN 판별자가 시각적 패턴을 기반으로 레이아웃을 최적화할 수 있게 하여 문서 레이아웃, 추상적 장면, 탄그램 디자인 생성과 같은 작업에서 기준 GAN 및 관계 기반 판별자에 비해 정렬성과 관계 정확도를 크게 향상시킨다.

ABSTRACT

Layout is important for graphic design and scene generation. We propose a novel Generative Adversarial Network, called LayoutGAN, that synthesizes layouts by modeling geometric relations of different types of 2D elements. The generator of LayoutGAN takes as input a set of randomly-placed 2D graphic elements and uses self-attention modules to refine their labels and geometric parameters jointly to produce a realistic layout. Accurate alignment is critical for good layouts. We thus propose a novel differentiable wireframe rendering layer that maps the generated layout to a wireframe image, upon which a CNN-based discriminator is used to optimize the layouts in image space. We validate the effectiveness of LayoutGAN in various experiments including MNIST digit generation, document layout generation, clipart abstract scene generation and tangram graphic design.

연구 동기 및 목표

• 기하학적 관계와 정렬을 유지하는 고품질의 구조적 그래픽 레이아웃을 생성하는 데 도전하는 것.
• 정확한 공간 관계를 갖는 벡터 기반 디자인을 모델링하는 데 있어 픽셀 공간 GAN의 한계를 극복하는 것.
• 효과적인 역전파를 위해 겹치는 요소의 가시성을 유지하는 미분 가능한 렌더링 방법을 개발하는 것.
• 레이블이 부여된 2차원 요소와 정밀한 기하학적 파rameter 및 클래스 확률을 합성하는 GAN의 엔드 투 엔드 학습을 가능하게 하는 것.
• 문서 레이아웃, 추상적 장면, 탄그램 퍼즐을 포함한 다양한 디자인 작업에서 접근 방식을 검증하는 것.

제안 방법

• 생성자는 클래스 확률과 기하학적 파라미터(경계 상자 키포인트 포함)를 갖춘 무작위로 초기화된 2차원 요소를 받아 자기주의 어텐션을 사용하여 일관된 레이아웃을 생성한다.
• 새로운 미분 가능한 와이어프레임 렌더링 계층이 생성된 레이아웃을 와이어프레임 이미지로 변환하여 겹치는 요소의 가시성을 유지하여 시각적 분석에 적합하게 한다.
• CNN 기반 판별자는 와이어프레임 이미지를 평가하여 정렬성과 가림 현상 같은 공간 패턴에 중점을 두고 레이아웃의 현실성에 최적화한다.
• 생성자는 순열 불변성을 갖추어 입력 요소의 순서에 관계없이 일관된 출력을 보장한다.
• 프레임워크는 두 개의 스트림 판별자를 사용한다: 하나는 원시 기하학적 파라미터에 작용하고 다른 하나는 와이어프레임 이미지에 작용하여 레이아웃 품질에 대한 민감도를 향상시킨다.
• 학습은 엔드 투 엔드로 이루어지며, 와이어프레임 판별자가 생성자에게 더 나은 기하학적 정확도와 관계 정확도를 향한 기울기 신호를 제공한다.

실험 결과

연구 질문

• RQ1 픽셀 공간이 아닌 기하학적 파라미터와 클래스 레이블에서 직접 구조적 그래픽 레이아웃을 생성할 수 있는 GAN을 학습시킬 수 있는가?
• RQ2 미분 가능한 렌더링 방법은 효과적인 역전파를 위해 겹치는 요소의 가시성과 공간 관계를 어떻게 유지할 수 있는가?
• RQ3 와이어프레임 기반 판별자가 직접 기하학적 또는 마스크 기반 판별자에 비해 레이아웃 품질을 향상시키는가?
• RQ4 모델은 문서 레이아웃, 추상적 장면, 탄그램 퍼즐을 포함한 다양한 디자인 작업에 일반화될 수 있는가?
• RQ5 와이어프레임 판별자는 생성된 레이아웃의 정렬성과 관계 정확도를 어느 정도 향상시키는가?

주요 결과

• 와이어프레임 판별자를 사용한 LayoutGAN은 추상적 장면 생성에서 DCGAN과 관계 기반 판별자보다 우수한 성능을 보였으며, 특히 정확한 척도와 방향을 갖춘 안경을 얼굴 위에 정확히 배치하는 데서 두드러졌다.
• 사용자 연구 결과, 참가자 70%가 와이어프레임 판별자에서 생성된 레이아웃을 '매우 좋음' 또는 '양호함'으로 평가했으며, 구조적 일관성과 공간 정확도 측면에서 다른 모델에 비해 뚜렷하게 뛰어났다.
• 탄그램 왜곡 복구 작업에서 LayoutGAN은 이동된 조각들을 원래 위치로 성공적으로 복원하여 복잡한 공간 관계를 학습하는 능력을 입증했다.
• 와이어프레임 판별자는 여우나 사람과 같은 의미 있는 탄그램 디자인을 생성하는 데 뛰어난 성능을 보였으며, DCGAN과 순차적 모델은 공간 모델링이 열악해 왜곡되거나 일관성이 없는 결과를 냈다.
• 미분 가능한 와이어프레임 렌더링 계층은 마스크 기반 렌더링과 달리 가림 현상 속에서도 효과적인 역전파를 가능하게 했다. 마스크 기반 렌더링은 채워진 픽셀로 인해 기울기가 차단되는 문제를 겪었다.
• 생성자의 순열 불변성은 입력 요소 순서에 관계없이 일관된 레이아웃 출력을 보장하여 입력 순서에 대한 강건성을 확인했다.