[논문 리뷰] 3D-FUTURE: 3D Furniture shape with TextURE

Huan Fu, Rongfei Jia외 5명|arXiv (Cornell University)|2020. 09. 21.

3D Surveying and Cultural Heritage참고 문헌 65인용 수 16

한 줄 요약

3D-FUTURE는 산업용 CAD 모델과 전문가가 설계한 실내 환경에서 유래한 고해상도 질감과 세밀한 기하학을 가진 대규모 고품질 합성 3D 가구 벤치마크를 제공한다. 이는 3D 비전 분야의 고급 연구를 가능하게 하며, 20,240장의 사진 수준의 현실감 있는 이미지, 9,992개의 고유한 질감이 부여된 가구 인스턴스, 정밀한 2D-3D 정렬 정보를 포함하고 있다. 이는 3D 재구성, 자세 추정, 질감 합성 등의 작업을 위한 최신 기준 모델과 종합적인 평가 지표를 지원한다.

ABSTRACT

The 3D CAD shapes in current 3D benchmarks are mostly collected from online model repositories. Thus, they typically have insufficient geometric details and less informative textures, making them less attractive for comprehensive and subtle research in areas such as high-quality 3D mesh and texture recovery. This paper presents 3D Furniture shape with TextURE (3D-FUTURE): a richly-annotated and large-scale repository of 3D furniture shapes in the household scenario. At the time of this technical report, 3D-FUTURE contains 20,240 clean and realistic synthetic images of 5,000 different rooms. There are 9,992 unique detailed 3D instances of furniture with high-resolution textures. Experienced designers developed the room scenes, and the 3D CAD shapes in the scene are used for industrial production. Given the well-organized 3D-FUTURE, we provide baseline experiments on several widely studied tasks, such as joint 2D instance segmentation and 3D object pose estimation, image-based 3D shape retrieval, 3D object reconstruction from a single image, and texture recovery for 3D shapes, to facilitate related future researches on our database.

연구 동기 및 목표

• 산업용 응용 분야에 적합한 세밀한 기하학과 정보성 있는 질감을 갖춘 고품질, 현실적인 3D 가구 데이터셋의 부족을 해소한다.
• 학술 분야의 3D 비전 연구와 실제 산업 설계 간 격차를 줄이기 위해 생산용으로 사용 가능한 CAD 모델을 활용한다.
• 2D 인스턴스 세그멘테이션, 3D 객체 자세, 정밀한 2D-3D 정렬을 포함한 풍부한 애너테이션을 제공하는 벤치마크를 제공한다.
• 복잡하고 세밀한 가구에 대해 현실감 있는 재료를 갖춘 고정밀 3D 모양과 질감 복원 연구를 가능하게 한다.
• 단일 이미지 3D 재구성 및 조건부 질감 합성 분야에서 최신 기법의 개발과 평가를 촉진한다.

제안 방법

• 산업용 생산 파이프라인에서 유래한 9,992개의 고유한 3D 가구 CAD 모델을 촬영하여 기하학적 정밀도와 세밀한 질감을 확보한다.
• 경험이 풍부한 인테리어 디자이너들이 설계한 5,000개의 실재감 있는 실내 공간 시나리오를 제작하여 사진 수준의 렌더링과 공간 일관성을 확보한다.
• 정밀한 2D-3D 인스턴스 수준의 애너테이션과 시점 정보를 포함한 고해상도(256×256) 합성 이미지 20,240장을 렌더링한다.
• 단일 이미지 3D 재구성 및 질감 합성에 적합한 다양한 훈련 시각을 생성하기 위해 다중 시점 렌더링 파이프라인을 구현한다.
• 다중 시점 질감 일관성을 향상시키기 위해 질감 인코더와 일관성 손실를 통합한 새로운 BicycleGAN++ 프레임워크를 도입한다.
• 가능한 한 질감 아틀라스 학습과 질감 복원을 위한 엔드 투 엔드 최적화를 가능하게 하기 위해 유연한 렌더링 및 UV 매핑 기법을 적용한다.

실험 결과

연구 질문

• RQ1 실제 질감과 정밀한 2D-3D 정렬을 갖춘 대규모 고성능 3D 가구 데이터셋이 단일 이미지에서의 3D 객체 재구성 성능을 향상시킬 수 있는가?
• RQ2 기존 최신 기술 기반 방법들이 산업용으로 제작된 고세부도 3D 가구 모델과 풍부한 질감을 갖춘 벤치마크에서 어떻게 성능을 내는가?
• RQ3 조건부 질감 합성 모델이 동일한 3D 메쉬의 여러 시점에서 사진 수준의 현실감 있고 일관성 있는 질감을 얼마나 잘 생성할 수 있는가?
• RQ4 정보성 있는 질감을 갖춘 복잡하고 세밀한 가구에 대해 현재의 3D 재구성 및 질감 합성 기법들은 어떤 한계를 지닌다?
• RQ5 공개 레포지토리의 모델들과 비교해 산업용 고품질, 생산용 3D 모델을 포함함으로써 3D 비전 모델의 일반화 능력과 현실감은 어떻게 향상되는가?

주요 결과

• Pixel2Mesh는 3D-FUTURE에서 다른 최신 기술 기반 방법들보다 우수한 성능을 보이며, IoU, Chamfer Distance, F-score 측면에서 뛰어나지만, 매우 세밀한 형태에서는 성능 저하가 발생한다.
• 질감 합성 분야에서 Texture Fields는 더 높은 SSIM 및 L1 점수를 기록하여 구조적 질감 세부 정보를 더 잘 유지함을 시사하지만, BicycleGAN++는 FID 및 Feat1 점수에서 높은 점수를 기록하여 더 현실적인 전반적 질감 외관을 구현함을 시사한다.
• BicycleGAN++는 주된 색상 패턴은 학습하지만 의미론적 질감 구조는 유지하지 못하는 반면, Texture Fields는 더 구조적인 질감을 생성하지만 꿈같은, 현실감이 떨어지는 아티팩트를 유발한다.
• 3D-FUTURE 벤치마크는 3D 형태와 질감 이해도에 있어 뚜렷한 향상을 이끌어내었으며, 기준 모델들이 2D 인스턴스 세그멘테이션 및 3D 자세 추정 등의 작업에서 측정 가능한 성과 향상을 보였다.
• 고해상도 질감과 정밀한 2D-3D 정렬 덕분에 여러 시점 간 질감 일관성 평가가 더 정확해졌으며, 이는 현재 생성 모델의 한계를 드러내었다.
• 벤치마크는 공개 레포지토리에서 흔히 볼 수 없는 고품질, 산업용 3D 가구 모델과 세밀한 질감이 고성능 3D 비전 연구를 발전시키는 데 필수적임을 입증하였다.