[논문 리뷰] 3D-FRONT: 3D Furnished Rooms with layOuts and semaNTics

Huan Fu, Bowen Cai외 8명|arXiv (Cornell University)|2020. 11. 18.

Advanced Vision and Imaging참고 문헌 44인용 수 15

한 줄 요약

3D-FRONT는 고해상도 질감이 구현된 3D 가구 모델을 포함한 18,968개의 전문가가 설계한 실내 공간으로 구성된 대규모 합성 3D 실내 환경 데이터셋이다. 이 데이터셋은 스타일 호환성을 보장하기 위해 추천 시스템을 활용하며, Trescope라는 경량 렲링 툴을 함께 제공함으로써 이전의 SUNCG 및 ShapeNet과 비교해 훨씬 뛰어난 현실감과 일관성을 갖춘 시각화 및 텍스처 합성 응용을 가능하게 한다.

ABSTRACT

We introduce 3D-FRONT (3D Furnished Rooms with layOuts and semaNTics), a new, large-scale, and comprehensive repository of synthetic indoor scenes highlighted by professionally designed layouts and a large number of rooms populated by high-quality textured 3D models with style compatibility. From layout semantics down to texture details of individual objects, our dataset is freely available to the academic community and beyond. Currently, 3D-FRONT contains 18,968 rooms diversely furnished by 3D objects, far surpassing all publicly available scene datasets. In addition, the 13,151 furniture objects all come with high-quality textures. While the floorplans and layout designs are directly sourced from professional creations, the interior designs in terms of furniture styles, color, and textures have been carefully curated based on a recommender system we develop to attain consistent styles as expert designs. Furthermore, we release Trescope, a light-weight rendering tool, to support benchmark rendering of 2D images and annotations from 3D-FRONT. We demonstrate two applications, interior scene synthesis and texture synthesis, that are especially tailored to the strengths of our new dataset. The project page is at: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset.

연구 동기 및 목표

• SUNCG의 공개 중단 이후 대규모, 고품질, 스타일적으로 일관된 3D 실내 환경 데이터셋의 부족을 보완하기 위해.
• 풍부한 의미적 애너테이션과 전문 수준의 질감을 갖춘 3D 가구실을 포괄하는 공개 가능한 종합적 레포지토리 제공을 위해.
• 실제적이고 다양한, 스타일적으로 일관된 데이터셋을 제공함으로써 3D 시각화 및 텍스처 생성의 데이터 기반 응용을 가능하게 하기 위해.
• Trescope라는 경량 렌더링 프레임워크를 통해 3D-FRONT용 렌더링 및 합성 도구의 개발을 지원하기 위해.
• 레이아웃 품질, 질감 정확도, 가구 스타일 호환성 측면에서 기존 데이터셋을 뛰어넘기 위해.

제안 방법

• 데이터셋은 실제 인테리어 디자인 템plate에서 유래한 전문가가 설계한 평면도 및 실내 레이아웃을 기반으로 구성된다.
• 가구 객체는 산업 생산에 사용되는 고품질 3D 가구 데이터셋인 3D-FUTURE에서 선택된다.
• 전문가의 인테리어 디자인을 기반으로 학습된 추천 시스템을 통해 각 장면 내 모든 가구의 기하학적 및 질감적 스타일 호환성을 보장한다.
• Trescope는 3D-FRONT에서 2D 이미지 및 애너테이션의 벤치마크 렌더링을 지원하기 위해 제공되는 경량 렌더링 도구이다.
• 기준 물체의 VGG 특징을 활용해 다른 물체에 대한 텍스처 합성을 조건화함으로써, 장면 간 일관된 텍스처 생성을 가능하게 한다.
• TM-Net과 같은 생성 모델을 3D 시나리오 수준의 텍스처링으로 확장하여, 특징 기반 가이던스를 통해 텍스처 일관성을 강제한다.

실험 결과

연구 질문

• RQ1 전문가가 설계한 레이아웃과 고품질, 스타일적으로 호환되는 질감을 갖춘 대규모 합성 3D 실내 환경 데이터셋이 기존 데이터셋보다 시각화 성능에서 뛰어나게 되는가?
• RQ2 가구 선택 시 스타일 호환성이 얼마나 시각적 현실감과 타당성을 향상시키는가?
• RQ3 3D-FRONT와 같이 전용으로 설계된 데이터셋을 사용할 경우, 일반적인 데이터셋인 ShapeNet을 사용하는 것보다 3D 시나리오의 텍스처 합성 품질과 다양성이 뚜렷이 향상되는가?
• RQ4 장면의 맥락과 특징 기반 조건부 설정을 활용할 경우, 장면 내 여러 3D 물체 간의 텍스처 일관성이 어떻게 향상되는가?
• RQ5 Trescope와 같은 경량 렌더링 도구가 3D 시나리오 응용의 벤치마크 및 재현 가능성에 효과적으로 기여하는가?

주요 결과

• 사용자 연구에서 3D-FRONT로 학습된 모델은 SUNCG 기반 합성 대비 64.8%의 선호도를 기록하여 더 뛰어난 현실감과 레이아웃 품질을 입증했다.
• 3D-FRONT로 학습된 TM-Net은 텍스처 다양성 측면에서 LPIPS 점수 0.289를 기록하여, ShapeNet 기반 모델(0.215)을 능가함으로써 더 풍부한 텍스처 생성 능력을 입증했다.
• 사용자 연구에서 61.1%의 참가자가 3D-FRONT 기반 텍스처를 ShapeNet 기반 텍스처보다 선호하여, 더 뛰어난 시각적 풍부함과 일관성을 확인했다.
• 3D-FRONT는 18,968개의 고유한 가구 장식 실내 공간과 13,151개의 고품질 질감이 적용된 3D 가구 모델을 포함하며, 규모와 품질 측면에서 모든 공개된 데이터셋을 뛰어넘었다.
• 전문가가 설계한 레이아웃과 스타일에 부합하는 가구 선택은 생성된 실내 시나리오의 시각적 정밀도와 현실감을 크게 향상시켰다.
• Trescope는 효율적이고 일관된 2D 렌더링과 애너테이션 추출을 가능하게 하여, 3D 시나리오 응용의 재현 가능한 벤치마크를 지원한다.