[논문 리뷰] BLT: Bidirectional Layout Transformer for Controllable Layout Generation

Xiang Rong Kong, Lu Jiang외 5명|arXiv (Cornell University)|2021. 12. 09.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

BLT는 훈련 시 양방향으로 속성을 참조함으로써 조건부, 비자기적 레이아웃 생성을 가능하게 하는 이중성 레이아웃 트랜스포머를 소개한다. 추론 시에는 낮은 신뢰도를 가진 속성을 반복적으로 보완함으로써 성능을 향상시킨다. 이는 자동회귀 기반 모델 대비 최대 10배 빠른 추론 속도를 달성하면서도 여섯 가지 다양한 레이아웃 생성 벤치마크에서 최신 기술 수준의 성능을 유지한다. 특히 고품질 결과를 얻기 위해 필수적인 새로운 계층적 샘플링 정책을 도입하였다.

ABSTRACT

Creating visual layouts is a critical step in graphic design. Automatic generation of such layouts is essential for scalable and diverse visual designs. To advance conditional layout generation, we introduce BLT, a bidirectional layout transformer. BLT differs from previous work on transformers in adopting non-autoregressive transformers. In training, BLT learns to predict the masked attributes by attending to surrounding attributes in two directions. During inference, BLT first generates a draft layout from the input and then iteratively refines it into a high-quality layout by masking out low-confident attributes. The masks generated in both training and inference are controlled by a new hierarchical sampling policy. We verify the proposed model on six benchmarks of diverse design tasks. Experimental results demonstrate two benefits compared to the state-of-the-art layout transformer models. First, our model empowers layout transformers to fulfill controllable layout generation. Second, it achieves up to 10x speedup in generating a layout at inference time than the layout transformer baseline. Code is released at https://shawnkx.github.io/blt.

연구 동기 및 목표

• 자기적 레이아웃 트랜스포머의 조건부 레이아웃 생성에서 불변 속성 종속성 체인으로 인한 한계를 해결하기 위해.
• 사용자 입력 제약 조건에 기반해 어떤 속성도 유연하게 수정할 수 있는 사용자 제어형 레이아웃 생성을 가능하게 하기 위해.
• 자기적 트랜스포머 대비 성능을 유지하거나 향상시키면서도 추론 속도를 향상시키기 위해.
• 레이아웃 속성 간의 구조적 상관관계를 포착함으로써 비자기적 레이아웃 생성의 품질을 향상시키기 위한 계층적 샘플링 정책을 개발하기 위해.
• GUI, 잡지, 광고, 홈 데코 등 다양한 디자인 응용 분야에서 모델의 성능을 검증하기 위해.

제안 방법

• BLT는 훈련 시 이웃 속성에 대해 앞뒤 양방향으로 참조하는 비자기적 트랜스포머 아키텍처를 사용하여 마스킹된 속성을 예측한다.
• 추론 시 BLT는 초도 레이아웃을 생성하고, 신뢰도 기반 마스킹을 통해 낮은 신뢰도를 가진 속성을 반복적으로 보완한다.
• 계층적 샘플링 정책은 속성을 그룹(카테고리, 크기, 위치)으로 분류하고 정해진 순서에 따라 마스크 생성을 제어함으로써 구조적 일관성을 향상시킨다.
• 모델는 양방향 자기주의 메커니즘을 사용하여 이전과 이후의 모든 속성에서 얻은 컨텍스트를 예측에 활용함으로써 고정된 자기적 종속성 체인을 깨뜨린다.
• 훈련은 특정 속성 그룹을 마스킹하고 재구성 최적화를 수행하는 방식이며, 추론은 신뢰도 기반 마스킹을 통한 반복적 보완을 사용한다.
• 표준 레이아웃 메트릭(예: IoU, 오버랩, 정렬, FID, 유사도)을 사용하여 여섯 가지 다양한 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 비자기적 트랜스포머 모델은 제어 가능하고 조건부 레이아웃 편집이 가능한 고품질의 레이아웃 생성을 달성할 수 있는가?
• RQ2 양방향 어텐션 메커니즘이 단방향 자기적 모델 대비 레이아웃 생성 품질을 향상시키는가?
• RQ3 제안된 계층적 샘플링 정책이 비자기적 레이아웃 보완의 마스크 생성을 얼마나 효과적으로 이끄는가?
• RQ4 자기적 기반 모델 대비 레이아웃 품질을 손상시키지 않고도 상당한 속도 향상을 달성할 수 있는가?
• RQ5 GUI, 잡지, 광고 등 다양한 디자인 도메인에서 모델이 일반화 가능한가?

주요 결과

• BLT는 자기적 트랜스포머 기반 모델 대비 최대 10배 빠른 추론 속도를 확보하였으며, 특히 밀도가 높은 레이아웃(예: 20개 객체 기준 10배 속도 향상)에서 속도 우위가 더욱 두드러진다.
• 사용자 정의된 레이아웃 속성 제약 조건을 처리하는 데 있어 최신 기술 수준의 자기적 및 VAE 기반 모델을 초월한다.
• 계층적 샘플링 정책은 표준 비자기적 기반 모델 대비 성능을 크게 향상시키며, RICO 데이터셋에서 IoU는 0.07 감소, 오버랩은 0.10 감소를 기록했다.
• PubLayNet 데이터셋에서 BLT는 비자기적 기반 모델의 FID 217을 134로 감소시켜 레이아웃 품질 향상을 입증했다.
• 비조건부 레이아웃 생성에서도 경쟁 가능한 성능을 유지하였으며, RICO에서 FID 70, PubLayNet에서 FID 134을 기록하여 최신 기술 수준의 모델과 유사한 성능을 달성했다.
• 제거 분석 결과 계층적 샘플링 순서(예: 카테고리 → 크기 → 위치)가 매우 중요하며, 최적의 순서가 아닐 경우 IoU 및 정렬 점수가 높아지는 것으로 확인되었다.