[논문 리뷰] Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling

Jia Zheng, Junfei Zhang외 4명|arXiv (Cornell University)|2019. 08. 01.

Advanced Vision and Imaging참고 문헌 43인용 수 26

한 줄 요약

이 논문은 기하학적 원소와 관계를 포함한 풍부한 3D 구조 주석이 있는 196,515장의 사진 수준의 실내 이미지로 구성된 대규모 합성 데이터셋 Structured3D를 소개한다. 이 데이터셋은 실데이터를 증강하고 도메인 적응을 촉진함으로써 룸 레이아웃 추정 성능을 향상시키며, 합성 데이터로 훈련된 딥 러닝 모델을 사용해 벤치마크 데이터셋에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Recently, there has been growing interest in developing learning-based methods to detect and utilize salient semi-global or global structures, such as junctions, lines, planes, cuboids, smooth surfaces, and all types of symmetries, for 3D scene modeling and understanding. However, the ground truth annotations are often obtained via human labor, which is particularly challenging and inefficient for such tasks due to the large number of 3D structure instances (e.g., line segments) and other factors such as viewpoints and occlusions. In this paper, we present a new synthetic dataset, Structured3D, with the aim of providing large-scale photo-realistic images with rich 3D structure annotations for a wide spectrum of structured 3D modeling tasks. We take advantage of the availability of professional interior designs and automatically extract 3D structures from them. We generate high-quality images with an industry-leading rendering engine. We use our synthetic dataset in combination with real images to train deep networks for room layout estimation and demonstrate improved performance on benchmark datasets.

연구 동기 및 목표

• 기존 데이터셋에서 실세계 3D 구조 주석의 부족성과 일관성 부족 문제를 해결함으로써, 강력한 기반 학습 기반 3D 모델링 방법의 개발을 제한하는 문제를 해결한다.
• 정확하고 자동으로 생성된 3D 구조 주석을 갖춘 대규모, 사진 수준의 실재감 있는 데이터셋을 구축하여 구조화된 3D 모델링 작업을 지원한다.
• 실세계 데이터로 일반화가 잘 되는 합성 데이터를 사용해 룸 레이아웃 추정을 위한 딥 네트워크의 훈련을 가능하게 한다.
• 3D 장면 이해에서의 도메인 적응 향상을 위해 다중 모odal 주석(예: 레이아웃 및 깊이)의 사용을 탐색한다.
• 다양한 구조화된 3D 모델링 작업을 지원하기 위해 기하학적 원소와 관계를 사용한 통합된 표현 방식을 제공한다.

제안 방법

• 전문적인 인테리어 설계 파일과 고해상도 3D 오브제 모델을 활용하여 기하학적 원소와 그들의 공간적 관계를 포함한 3D 구조 주석을 자동으로 추출한다.
• 업계 최고 수준의 렲팅 엔진을 사용하여 3D 장면 기하학에서 사진 수준의 실재감 있는 2D 이미지를 생성함으로써 시각적 정밀도를 확보한다.
• 다양한 3D 구조(예: 와이어프레임, 상자형, 평면, 대칭성 등)를 일관되고 확장 가능한 방식으로 표현하기 위해 통합된 '원소 + 관계' 표현 방식을 정의한다.
• 실데이터(PanoContext, 2D-3D-S 등)와 합성 Structured3D 데이터의 조합을 사용해 딥 러닝 모델(LayoutNet, HorizonNet 등)을 훈련시켜 일반화 성능을 향상시킨다.
• 합성 도메인과 실세계 도메인 간의 특징 분포를 일치시키기 위해 도메인 구분 네트워크를 활용한 도메인 적응 기법을 적용하며, 레이아웃 및 깊이 예측을 모두 포함해 보다 우수한 일치를 달성한다.
• 다중 모달 감독을 통해 네트워크에 깊이 예측 헤드를 추가하여 공동 최적화를 통해 도메인 적응 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 정확하고 자동으로 생성된 3D 구조 주석이 포함된 대규모 합성 데이터셋이 룸 레이아웃 추정에서 딥 러닝 모델의 성능을 향상시키는가?
• RQ2 레이아웃 및 깊이와 같은 다중 모달 주석의 포함 여부가 3D 장면 이해에서의 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ3 Structured3D의 합성 데이터로 실세계 데이터와의 성능 격차를 얼마나 줄일 수 있는가?
• RQ4 통합된 '원소 + 관계' 표현 방식은 기존 데이터셋에 비해 다양한 3D 구조의 보다 효과적이고 확장 가능한 주석 생성을 가능하게 하는가?
• RQ5 합성 훈련 데이터의 크기가 실세계 벤치마크에서의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• PanoContext 및 2D-3D-S와 같은 실데이터셋에 Structured3D의 10,000장의 합성 이미지를 증강함으로써 LayoutNet의 3D IoU는 1.5% 향상되고 CE는 0.07 감소했다.
• 10,000장의 합성 이미지를 사전 훈련에 사용함으로써 PanoContext에서 3D IoU는 83.81%에서 84.77%로, 2D-3D-S에서는 57.18%에서 84.04%로 향상되어 데이터 스케일의 이점을 입증했다.
• 레이아웃 및 깊이 감독을 통한 도메인 적응(+Depth)은 PanoContext에서 비적응 기반의 75.64%에서 3D IoU를 78.34%로 높여 다중 모달 주석의 가치를 입증했다.
• 실데이터 기반 베이스라인(Real)은 PanoContext에서 81.76%의 3D IoU를 기록했고, +Depth 도메인 적응 방법은 78.34%를 달성하여 합성 데이터에서의 강력한 일반화 능력을 보였다.
• 원래 설계 파일에서 정확한 진짜 주석을 생성함으로써 실데이터셋에서 흔히 발생하는 인간 주석 오류(예: 비상자형 방을 상자형 레이아웃으로 잘못 레이블링)를 피했다.
• 합성 데이터 크가 증가할수록 성능 향상이 이루어지며, 10,000장의 이미지에서 최고의 성능를 기록함으로써 스케일성과 데이터 효율성을 입증했다.