[논문 리뷰] Deep Generative Modeling for Scene Synthesis via Hybrid Representations

Zaiwei Zhang, Zhenpei Yang외 5명|arXiv (Cornell University)|2018. 08. 06.

3D Surveying and Cultural Heritage참고 문헌 37인용 수 21

한 줄 요약

이 논문은 3D 객체 배치와 2D 이미지 기반 감독을 조합한 하이브리드 표현을 사용하여 3D 실내 환경 생성을 위한 피드포워드 딥 생성 모델을 제안한다. 희소하게 연결된 신경망을 사용해 잠재 벡터에서 객체의 위치, 방향, 크기, 개수 등을 포함한 환경 구성으로 매핑함으로써, 기존 순차적 방법보다 더 높은 정밀도와 다양성, 더 나은 일관성과 함께 더 빠른 추론을 달성한다.

ABSTRACT

We present a deep generative scene modeling technique for indoor environments. Our goal is to train a generative model using a feed-forward neural network that maps a prior distribution (e.g., a normal distribution) to the distribution of primary objects in indoor scenes. We introduce a 3D object arrangement representation that models the locations and orientations of objects, based on their size and shape attributes. Moreover, our scene representation is applicable for 3D objects with different multiplicities (repetition counts), selected from a database. We show a principled way to train this model by combining discriminator losses for both a 3D object arrangement representation and a 2D image-based representation. We demonstrate the effectiveness of our scene representation and the deep learning method on benchmark datasets. We also show the applications of this generative model in scene interpolation and scene completion.

연구 동기 및 목표

• 다양한 기하학적 및 구조적 변동성이 큰 이질적 데이터로부터 파arametric 3D 환경 모델을 학습하는 데 도전한다.
• 순차적 또는 볼륨형 3D 생성 방법의 한계를 극복하기 위해, 환경 레이아웃의 공동 최적화를 위한 피드포워드 아키텍처를 도입한다.
• 3D 객체 배열(위치, 방향, 크기, 다수성)과 2D 이미지 기반 감독을 조합한 하이브리드 표현을 개발하여 현실감과 일관성을 향상시킨다.
• 실제 3D 환경 데이터의 제한된 양에서도 이중 판별자를 활용해 3D 및 2D 감독 신호를 효과적으로 활용함으로써 효과적인 학습을 가능하게 한다.
• 장면 보간 및 완성 작업에 대한 응용을 보여주며, 훈련 데이터의 가장 가까운 이웃을 초월한 의미 있는 의미론적 및 구조적 일관성을 확보한다.

제안 방법

• 객체의 속성(위치, 방향, 크기, 카테고리, 개수)을 행렬로 표현하여, 복잡한 배열을 벡터화하고 미분 가능한 방식으로 코딩한다.
• 낮은 차원의 잠재 벡터(예: 표준 정규분포)에서 환경 표현으로 매핑하기 위해 희소하게 연결된 피드포워드 신경망을 설계하여, 완전히 연결된 층에 비해 과적합을 줄인다.
• 장치 생성기의 훈련을 위해 세 가지 손실의 조합을 사용한다: 배열 자동에코더 손실, 3D 배열 판별자 손실, 그리고 투영된 2D 시각에서 유도된 이미지 기반 판별자 손실.
• 실제와 생성된 환경 표현 간의 원소별 행렬 곱을 기반으로 한 일관성 손실을 사용하여 구조적 정밀도를 강화한다.
• 초기화된 학습률 α = 1e-3를 사용한 확률적 경사 하강법으로 생성기를 최적화하여 재구성 및 적대적 목표 간 균형을 이룬다.
• 다중 시점 2D 감독을 통해 국소적인 시점 의존 패턴을 유지하고 현실감을 향상시키며, 3D 배열 손실은 기하학적 및 위상적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 낮은 차원의 잠재 공간에서 피드포워드 딥 생성 모델이 다양하고 현실적인 3D 실내 환경을 효과적으로 생성할 수 있는가?
• RQ2 3D 객체 배열 표현과 2D 이미지 기반 감독을 조합함으로써, 단일 모odal 접근에 비해 장면 생성 품질과 일관성은 어떻게 향상되는가?
• RQ3 하이브리드 표현은 다양성, 현실감, 추론 속도 측면에서 순차적 또는 볼륨형 생성 방법에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 의미론적으로 의미 있는 결과를 도출할 수 있도록 장면 보간 및 완성 작업에 일반화될 수 있는가?
• RQ5 희소하게 연결된 아키텍처는 복잡한 3D 환경 구성에 대한 표현 능력을 유지하면서 과적합을 어떻게 완화하는가?

주요 결과

• 제안된 모델은 그림 1에서 볼 수 있듯이, 훈련 데이터를 초월한 상당한 위상적 및 기하학적 다양성을 가진 3D 장면을 생성한다.
• 기본선의 순차적 방법(평균 76–83초)에 비해 더 빠른 추론(1–2초/장면)을 달성한다.
• 장면 완성 결과는 객체 수 제약 조건 하에서도 [Fisher et al., 2012] 및 [Kermani et al., 2016]에 비해 더 뛰어난 의미론적 일관성과 국소적 호환성을 보여준다.
• 3D 배열과 2D 이미지 판별자를 모두 사용하는 하이브리드 훈련 방식은 단일 모달 감독에 비해 더 현실적이고 일관성 있는 장면 레이아웃을 도출한다.
• 피드포워드 아키텍처는 모든 장면 인자들을 동시에 최적화할 수 있게 하여, 순차적 생성 방법에서 흔히 발생하는 오류 전파 문제를 피한다.
• 정성적 평가 결과, 모델이 복잡한 장면 패턴을 포착하고, 동일한 객체 카테고리의 다수 개체를 포함한 타당한 배열을 생성함을 확인할 수 있다.