[논문 리뷰] LayoutVAE: Stochastic Scene Layout Generation From a Label Set

Akash Abdu Jyothi, Thibaut Durand외 3명|arXiv (Cornell University)|2019. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 14

한 줄 요약

LayoutVAE는 객체 간의 공간적 및 수량적 관계를 모델링함으로써 레이블 집합에서 확률적이고 다양한 시나리오 레이아웃을 생성하는 변분 오토인코더 프레임워크이다. 이는 다양한 레이아웃 생성이 가능하며, 가능도 점수를 통해 이방성 레이아웃을 탐지하고, MNIST-Layouts 및 COCO 2017 Panoptic 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Recently there is an increasing interest in scene generation within the research community. However, models used for generating scene layouts from textual description largely ignore plausible visual variations within the structure dictated by the text. We propose LayoutVAE, a variational autoencoder based framework for generating stochastic scene layouts. LayoutVAE is a versatile modeling framework that allows for generating full image layouts given a label set, or per label layouts for an existing image given a new label. In addition, it is also capable of detecting unusual layouts, potentially providing a way to evaluate layout generation problem. Extensive experiments on MNIST-Layouts and challenging COCO 2017 Panoptic dataset verifies the effectiveness of our proposed framework.

연구 동기 및 목표

• 약한 감독(즉, 관계 정보가 없는 레이블 집합)으로부터 다양하고 현실적인 레이아웃을 생성하는 확률적 레이아웃 생성 모델의 부족을 해결하기 위해.
• 구체적인 텍스트나 구조적 기술에 의존하지 않고, 시각적 데이터로부터 시나리오 내 객체 간의 내재된 공간적 및 수량적 관계를 학습하기 위해.
• 동일한 레이블 집합에 대해 다수의 유효한 레이아웃을 생성할 수 있는 프레임워크를 개발하여 실제 시나리오의 본질적 모호성과 변동성을 반영하기 위해.
• 학습된 가능도 점수를 활용하여 불가능하거나 이방성 레이아웃을 탐지할 수 있도록 하기 위해.
• 기존 이미지 생성 모델에 레이아웃 입력이 필요한 경우에 즉시 통합 가능한 구성 요소를 제공하여 현실성과 다양성을 향상시키기 위해.

제안 방법

• 객체 레이아웃의 공동 분포를 모델링하기 위해 별도의 추론 및 사전 네트워크를 갖춘 변분 오토인코더(VAE) 아키텍처를 사용한다.
• 학습 데이터 통계에서 유도된 객체 수 분포를 통해 수량적 관계를 모델링한다.
• 이전에 생성된 객체를 기반으로 경계 상자 위치를 예측하는 조건부 사전을 통해 공간적 관계를 모델링한다.
• 계층적 생성 과정을 적용: 먼저 객체 수를 예측하고, 이후 자동회귀 조건부 기반으로 단계별로 경계 상자를 생성한다.
• 레이아웃 이방성 탐지에 대해 음의 로그가능도(NLL)를 추정하기 위해 1000개의 후행 표본을 활용한 중요도 표본 추출을 시행한다.
• 합성 레이아웃 규칙(예: 중심에 큰 숫자, 아래에 작은 숫자)을 정의한 합성 데이터셋인 MNIST-Layouts를 도입하여 복합 규칙 학습 능력을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델은 관계 정보가 없는 레이블 집합만으로도 다양하고 현실적인 시나리오 레이아웃을 생성할 수 있는가?
• RQ2 실제 이미지 분포로부터 객체 간의 공간적 및 수량적 관계를 얼마나 잘 포착하고 일반화할 수 있는가?
• RQ3 학습된 분포 하에서 가능도를 측정함으로써 이방성 또는 불가능한 레이아웃을 어느 정도 탐지할 수 있는가?
• RQ4 합성 MNIST-Layouts와 실제 COCO와 같은 복잡도가 다른 데이터셋 간에 모델이 일반화되는가?
• RQ5 레이블 처리 순서가 모델 성능에 미치는 영향은 어떠한가? 그리고 레이블 순서 뒤섞음이 레이아웃 생성 품질에 어떤 영향을 미치는가?

주요 결과

• LayoutVAE는 MNIST-Layouts 및 COCO 2017 Panoptic 데이터셋 모두에서 동일한 레이블 집합에 대해 다양하고 현실적인 레이아웃을 성공적으로 생성하였다.
• 모델은 높은 정확도로 이방성 레이아웃을 탐지한다: 레이아웃을 뒤집었을 때 92.58%의 테스트 이미지에서 NLL가 증가하였으며, 평균 NLL는 2.26에서 4.33으로 상승하였다.
• 레이블 순서가 이미지 간에 무작위로 변경되면 성능이 크게 떨어지며, 이는 일관된 순서가 공간 규칙 학습에 도움이 된다는 것을 시사한다.
• 모델은 MNIST-Layouts에서 합성 레이아웃 규칙(예: 큰 숫자를 중심에, 작은 숫자를 아래에 놓기)을 학습하고 강제 적용한다.
• LayoutVAE는 고확률 영역이 현실적인 객체 배치와 일치하는 방식으로 일관되고 다양한 경계 상자 예측을 단계별로 생성한다.
• 기존 이미지 생성 모델과의 호환성이 있으며, Zhao 등 [31]의 모델과 같은 모델에 효과적인 입력으로서의 레이아웃 생성이 가능하다.