[논문 리뷰] Layout Generation and Completion with Self-attention.

Kamal Gupta, Alessandro Achille외 4명|arXiv (Cornell University)|2020. 06. 25.

Handwritten Text Recognition Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 이미지, 문서, 모바일 앱과 같은 다양한 도메인에서 그래픽 요소 간의 맥락적 관계를 모델링함으로써 레이아웃을 생성하고 보완하는 자기주의 주의(self-attention) 기반 프레임워크인 LayoutTransformer을 제안한다. 이는 제로샷 레이아웃 생성, 해석 가능한 어텐션 시각화, 범주 및 요소 처리의 확장성, 의미 있는 범주 임베딩 학습을 가능하게 하여 COCO, PubLayNet, RICO 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

We address the problem of layout generation for diverse domains such as images, documents, and mobile applications. A layout is a set of graphical elements, belonging to one or more categories, placed together in a meaningful way. Generating a new layout or extending an existing layout requires understanding the relationships between these graphical elements. To do this, we propose a novel framework, LayoutTransformer, that leverages a self-attention based approach to learn contextual relationships between layout elements and generate layouts in a given domain. The proposed model improves upon the state-of-the-art approaches in layout generation in four ways. First, our model can generate a new layout either from an empty set or add more elements to a partial layout starting from an initial set of elements. Second, as the approach is attention-based, we can visualize which previous elements the model is attending to predict the next element, thereby providing an interpretable sequence of layout elements. Third, our model can easily scale to support both a large number of element categories and a large number of elements per layout. Finally, the model also produces an embedding for various element categories, which can be used to explore the relationships between the categories. We demonstrate with experiments that our model can produce meaningful layouts in diverse settings such as object bounding boxes in scenes (COCO bounding boxes), documents (PubLayNet), and mobile applications (RICO dataset).

연구 동기 및 목표

• 이미지, 문서, 모바일 애플리케이션과 같은 다양한 도메인에서 레이아웃을 생성하고 보완하는 데 도전하는 것.
• 딥 러닝 기반으로 레이아웃 내 그래픽 요소 간의 맥락적 관계를 모델링하는 것.
• 무조건적 레이아웃 생성과 초기 요소 집합을 기반으로 한 부분 레이아웃 보완을 모두 가능하게 하는 것.
• 레이아웃 요소 간 어텐션 메커니즘을 시각화하여 모델의 레이아웃 생성 결정 과정을 해석 가능한 방식으로 제공하는 것.
• 많은 수의 요소 범주와 레이아웃당 요소 수를 지원하면서도 의미 있는 범주 임베딩을 학습하는 것.

제안 방법

• 프레임워크는 요소 간 의존성을 모델링하기 위해 자기주의 주의 메커니즘을 사용하는 트랜스포머 기반 아키텍처를 사용한다.
• 입력 요소는 학습 가능한 토큰 임베딩으로 표현되며, 공간적 순서를 유지하기 위해 위치 인코딩이 적용된다.
• 모델은 자동회귀적으로 레이아웃을 생성하며, 이전 요소들에서 주의를 기울인 맥락을 바탕으로 하나의 요소씩 예측한다.
• 초기 요소 집합을 조건으로 하여 레이아웃을 완전히 생성하거나 부분적으로 보완하는 것을 지원한다.
• 학습 과정에서 범주별 임베딩을 학습함으로써 다양한 범주 간 의미적 관계 탐색이 가능해진다.
• 어텐션 가중치를 시각화하여 각 새로운 요소의 예측에 영향을 미친 이전 요소들을 해석할 수 있다.

실험 결과

연구 질문

• RQ1 자기주의 주의 기반 모델이 객체 검출, 문서 레이아웃, 모바일 UI 설계와 같은 다양한 도메인에서 다양한 레이아웃을 효과적으로 생성할 수 있는가?
• RQ2 기존 요소들을 주시하면서 다음으로 논리적으로 추가될 요소를 예측함으로써 부분 레이아웃을 얼마나 잘 보완할 수 있는가?
• RQ3 어텐션 메커니즘이 모델의 레이아웃 생성 결정에 대해 얼마나 해석 가능한 통찰을 제공하는가?
• RQ4 모델이 많은 수의 요소 범주와 레이아웃당 높은 수의 요소를 처리할 때 얼마나 확장 가능한가?
• RQ5 학습된 범주 임베딩을 통해 요소 범주 간의 의미적 관계는 어떤 식으로 발견될 수 있는가?

주요 결과

• LayoutTransformer는 COCO, PubLayNet, RICO를 포함한 여러 벤치마크 데이터셋에서 레이아웃 생성 분야에서 최신 기준 성능을 달성한다.
• 모델은 빈 상태에서 일관된 레이아웃을 성공적으로 생성하고, 부분 레이아웃을 고도로 구조적으로 보완한다.
• 어텐션 시각화 결과 의미 있는 어텐션 패턴을 확인할 수 있었으며, 모델이 생성 과정에서 의미적으로 관련된 이전 요소들에 주목하고 있음을 보여준다.
• 모델는 성능 저하 없이 많은 수의 요소 범주와 높은 요소 수를 효과적으로 처리할 수 있다.
• 학습된 범주 임베딩은 의미적 관계를 포착하여 요소 유형 간의 의미 있는 군집화와 유사도 분석이 가능하게 한다.
• 프레임워크는 다양한 레이아웃 도메인에 걸쳐 강력한 일반화 능력을 보이며, 도메인 이동에 대한 강건성을 입증한다.