[논문 리뷰] A Generative Model of 3D Object Layouts in Apartments

Paul Henderson, Vittorio Ferrari|arXiv (Cornell University)|2017. 01. 01.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 10

한 줄 요약

이 논문은 250,000개의 인간이 설계한 실내 공간에서 170개의 물체 클래스 간의 복잡한 공간 관계를 포착하여 아파트의 3D 물체 레이아웃을 학습하는 딥 생성 모델을 제안한다. 이 모델은 고차원 공간 사전 지식을 인코딩하여 인간 평가 및 공간 추론에 대한 분석을 통해 검증된 매우 현실적이며 일반화 가능한 레이아웃을 생성한다.

ABSTRACT

Understanding indoor scenes is an important task in computer vision. This task is typically ambiguous, so we require a strong prior, that captures the regularity of indoor environments. This is naturally expressed by a probabilistic model over 3D room layouts and geometry, reasoning over complex layouts in 3D space, including high-order spatial relations among objects. In this work, we construct such a model, trained on over 250000 human-designed rooms with 170 object classes. We conduct extensive experiments to show the quality of our model. First, we show that it generates samples that are plausible, by an extensive user study involving human comparisons of sampled layouts to ground-truth. Second, we demonstrate the value of incorporating spatial relationships between objects, by showing that this increases the plausibility of samples. Third, we show that our model generalises, rather than simply memorising its training set. Finally, we provide many examples of knowledge learnt by our model, such as support relationships, and common spatial relations between object classes.

연구 동기 및 목표

• 실내 3D 환경의 구조적 규칙을 포착하는 확률적 생성 모델을 개발하는 것.
• 170개의 물체 클래스 간의 고차원 공간 관계를 모델링하는 것.
• 학습 데이터에 대한 암기 외부에서 현실적이며 다양한 3D 레이아웃을 생성하는 것.
• 지지, 일반적인 물체 배치와 같은 의미 있는 공간 사전 지식을 학습할 수 있는 능력을 검증하는 것.

제안 방법

• 170개의 물체 클래스가 포함된 250,000개의 인간이 설계한 3D 아파트 레이아웃으로 구성된 대규모 데이터셋을 기반으로 모델을 훈련한다.
• 3D 공간 구성을 추론하고 복잡한 고차원 공간 의존성을 인코딩하는 딥 생성 아키텍처를 사용한다.
• '위에 놓여져 있다', '옆에 있다', '지지된다'와 같은 공간 관계에 대한 구조적 사전 지식을 통합한다.
• 변분 또는 자동회귀 추론을 사용하여 추론 및 생성을 수행하여 현실적인 레이아웃을 샘플링한다.
• 인간 평가, 공간 추론에 대한 분석, 일반화 테스트를 통해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 인간 관찰자에게 인지적으로 현실적인 3D 실내 레이아웃을 생성할 수 있는가?
• RQ2 고차원 공간 관계를 포함함으로써 생성된 레이아웃의 현실감은 어느 정도 향상되는가?
• RQ3 모델은 새로운 레이아웃으로 일반화되는가, 아니면 단지 학습 예제를 암기하는가?
• RQ4 모델은 지지나 인접성과 같은 어떤 종류의 공간 지식을 데이터로부터 학습하는가?

주요 결과

• 사용자 비교를 통한 인간 평가 결과, 생성된 레이아웃이 실제 레이아웃과 인간의 눈으로 구분하기 어려운 것으로 확인되었다.
• 모델에 공간 관계를 포함시킴으로써, 이러한 모델링을 하지 않은 기준 모델 대비 생성된 레이아웃의 현실감이 크게 향상되었다.
• 모델는 새로운 레이아웃으로 효과적으로 일반화되며, 학습 샘플을 암기한 것이 아니라 일반화 가능한 사전 지식을 학습한 것으로 나타났다.
• 모델는 의자와 테이블이 일반적으로 함께 배치되고, 램프가 테이블에 지지된다는 등의 의미 있는 공간 패턴을 학습하였다.