[논문 리뷰] Neural Design Network: Graphic Layout Generation with Constraints

Hsin-Ying Lee, Lu Jiang외 5명|arXiv (Cornell University)|2019. 12. 19.

Visual Attention and Saliency Detection참고 문헌 37인용 수 9

한 줄 요약

이 논문은 사용자가 지정한 구성 요소와 제약 조건에서 시각적으로 매력적인 그래픽 디자인 레이아웃을 생성하는 세 모듈로 구성된 딥러닝 프레임워크인 신경 설계 네트워크(NDN)를 제안한다. 완전한 구성 요소 간 관계를 예측하고, 반복적으로 바운딩 박스를 생성하며, 레이아웃 정렬을 개선하는 방식으로, NDN은 사용자 제약 조건을 충족시키고 기존 방법보다 현실감과 정렬 정확도에서 뛰어난 고품질의 레이아웃을 생성한다. 이는 RICO, 매거진, 그리고 새로운 광고 데이터셋에서 검증되었다.

ABSTRACT

Graphic design is essential for visual communication with layouts being fundamental to composing attractive designs. Layout generation differs from pixel-level image synthesis and is unique in terms of the requirement of mutual relations among the desired components. We propose a method for design layout generation that can satisfy user-specified constraints. The proposed neural design network (NDN) consists of three modules. The first module predicts a graph with complete relations from a graph with user-specified relations. The second module generates a layout from the predicted graph. Finally, the third module fine-tunes the predicted layout. Quantitative and qualitative experiments demonstrate that the generated layouts are visually similar to real design layouts. We also construct real designs based on predicted layouts for a better understanding of the visual quality. Finally, we demonstrate a practical application on layout recommendation.

연구 동기 및 목표

• 사용자가 지정한 구성 요소 간 관계와 공간 제약 조건을 반영하는 고품질의 제약 인식 그래픽 디자인 레이아웃을 생성하는 데 도전한다.
• 픽셀 공간 생성 모델보다 구성 요소 간 복잡한 상호의존성(예: '위에', '크기가 더 크다', '둘러싸다')을 더 효과적으로 모델링한다.
• 부분적인 제약 조건과 동적 추천 기능을 포함한 레이아웃 생성에서의 민첩한 사용자 제어를 가능하게 한다.
• 예측된 레이아웃에서 실제 자산을 사용해 설계를 구성함으로써, 정량적 지표를 초월한 시각적 품질을 검증한다.
• 실제 디자인 워크플로우에 활용 가능한 레이아웃 추천 응용 프로그램을 통해 실용성을 입증한다.

제안 방법

• 구성 요소는 노드이고 관계(예: '위에', '크기가 더 크다')는 간선인 그래프 기반 표현을 사용하여 구성 요소 간 상호작용을 체계적으로 모델링한다.
• 관계 예측 모듈은 사용자가 지정한 제약 조건이 일부만 포함된 입력 그래프에서 완전한 구성 요소 간 관계 그래프를 추론한다.
• 레이아웃 생성 모듈은 GNN 기반 아키텍처를 사용하여 그래프 조건에 따라 반복적으로 구성 요소의 바운딩 박스를 예측한다.
• 개선 모듈은 예측된 바운딩 박스를 정밀 조정하여 정렬을 향상시키고 겹침을 줄이며 시각적 품질을 향상시킨다.
• 추론 시 구성 요소의 임의의 순서를 지원함으로써, 레이아웃 추천 및 하나를 생략한 예측과 같은 다양한 용도를 가능하게 한다.
• 모델은 RICO, 매거진, 그리고 다양한 레이아웃 유형을 포함하는 새로 수집한 배너 광고 데이터셋을 포함한 세 개의 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 사용자가 지정한 공간적 및 관계적 제약 조건을 충족시키는 시각적으로 현실적인 그래픽 디자인 레이아웃을 생성할 수 있는가?
• RQ2 그래프 기반 표현이 레이아웃 디자인에서 복잡한 구성 요소 간 관계(예: '위에', '둘러싸다')를 얼마나 잘 포착하고 예측할 수 있는가?
• RQ3 제안된 세 모듈 프레임워크(관계 예측, 레이아웃 생성, 개선)가 기준 방법 대비 레이아웃 품질을 얼마나 향상시키는가?
• RQ4 레이아웃 추천 및 자산 기반 디자인 구축과 같은 실세계 디자인 응용에 일반화될 수 있는가?
• RQ5 구성 요소 순서와 잠재 공간 샘플링이 레이아웃 생성 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• 제안된 NDN 모델은 부분적인 제약 조건 하에서도 기존 방법보다 더 현실적이고 정렬이 잘된 레이아웃을 생성한다.
• LayoutVAE와 sg2im보다 구성 요소 간 관계 처리 능력과 겹침 또는 잘못된 정렬의 감소에서 뛰어나다.
• 제약 조건이 전혀 없을 경우에도 NDN은 타당한 레이아웃을 생성할 수 있어 그래프 기반 설계에서 강력한 인덕티브 바이어스를 보여준다.
• 예측된 레이아웃 기반으로 실제 자산을 사용해 구성한 디자인은 생성된 레이아웃의 시각적 품질과 사용 가능성을 확인한다.
• 레이아웃 추천 응용 프로그램은 부분적인 캔버스가 주어졌을 때 최적의 구성 요소 배치를 성공적으로 제안하여 실용성을 입증한다.
• 실패 사례는 주로 훈련 데이터에 드물게 등장하는 저밀도 영역의 잠재 공간 또는 구성 요소 구성(예: 세 개의 단추와 두 개의 로고)에서 기인한다.