[논문 리뷰] UniG3D: A Unified 3D Object Generation Dataset

Qinghong Sun, Yangguang Li외 6명|arXiv (Cornell University)|2023. 06. 19.

3D Shape Modeling and AnalysisEngineering인용 수 3

한 줄 요약

UniG3D는 ShapeNet과 Objaverse의 원시 3D 모델을 통합된 다중모달 표현(텍스트, 이미지, 포인트 클라우드, 메쉬)으로 변환하는 유일한 데이터 변환 파이프라인을 통해 구축한 대규모 통합 3D 객체 생성 데이터셋을 소개한다. 이 파이프라인은 渲染 엔진과 다중모달 모델(CLIP, BLIP)을 활용하여 고품질이고 다양한 텍스트 및 이미지 데이터를 생성하며, 3D 생성 모델의 훈련 데이터 품질과 확장성을 크게 향상시킨다. 실험적 검증을 통해 Point-E 및 SDFusion와 같은 방법을 사용할 때 모델의 강건성과 제어 가능성 향상이 확인되었다.

ABSTRACT

The field of generative AI has a transformative impact on various areas, including virtual reality, autonomous driving, the metaverse, gaming, and robotics. Among these applications, 3D object generation techniques are of utmost importance. This technique has unlocked fresh avenues in the realm of creating, customizing, and exploring 3D objects. However, the quality and diversity of existing 3D object generation methods are constrained by the inadequacies of existing 3D object datasets, including issues related to text quality, the incompleteness of multi-modal data representation encompassing 2D rendered images and 3D assets, as well as the size of the dataset. In order to resolve these issues, we present UniG3D, a unified 3D object generation dataset constructed by employing a universal data transformation pipeline on Objaverse and ShapeNet datasets. This pipeline converts each raw 3D model into comprehensive multi-modal data representation by employing rendering engines and multi-modal models. These modules ensure the richness of textual information and the comprehensiveness of data representation. Remarkably, the universality of our pipeline refers to its ability to be applied to any 3D dataset, as it only requires raw 3D data. The selection of data sources for our dataset is based on their scale and quality. Subsequently, we assess the effectiveness of our dataset by employing Point-E and SDFusion, two widely recognized methods for object generation, tailored to the prevalent 3D representations of point clouds and signed distance functions. Our dataset is available at: https://unig3d.github.io.

연구 동기 및 목표

• 기존 3D 객체 생성 데이터셋의 한계인 낮은 텍스트 품질, 다중모달 데이터의 불완전성, 제한된 스케일을 해결하기 위해.
• 모든 원시 3D 데이터셋을 수동 애너테이션 없이도 rich한 다중모달 표현으로 변환할 수 있는 유일한 자동화된 파이프라인 개발을 위해.
• 다양한 입력 조건과 목표 표현을 고려한 다양한 3D 생성 방법을 지원하는 대규모 고품질 데이터셋을 구축하기 위해.
• 최신 3D 생성 모델(Point-E, SDFusion 등)을 사용한 실험적 평가를 통해 데이터셋의 유효성을 검증하기 위해.

제안 방법

• 원시 3D 모델을 통합된 다중모달 4중세트 <텍스트, 이미지, 포인트 클라우드, 메쉬>로 변환하기 위한 유일한 데이터 변환 파이프라인을 설계하였다.
• 각 3D 모델에서 다중 시점 이미지와 3D 메쉬를 렌더링하기 위해 Blender를 사용하였으며, 시점 간격을 36도로 설정하여 포괄적인 커버리지 확보.
• 렌더링된 이미지에서 고품질의 기술적 설명 텍스트 임베딩을 생성하기 위해 CLIP-ViT 및 BLIP를 활용하여 텍스트의 풍부함과 다양성을 향상.
• 기하학적 정확도를 유지하기 위해 기하학적 투영 방법을 사용해 다중 시점 렌더링 이미지에서 포인트 클라우드를 추출.
• 파이프라인은 원본 3D 데이터셋 형식에 관계없이 확장 가능하며, 원시 3D 데이터만 입력으로 요구한다.
• 최종 데이터셋은 ShapeNet과 Objaverse의 데이터를 통합하여 구축되었으며, 스케일과 품질을 확보하였고, https://unig3d.github.io/ 에 공개되어 있다.

실험 결과

연구 질문

• RQ1 다중 시점 렌더링 이미지의 포함 여부가 희귀 또는 비표준 시점에서 3D 생성 모델의 강건성에 어떤 영향을 미치는가?
• RQ2 다중모달 모델을 통해 생성된 개선된 텍스트 품질이 3D 객체 생성의 제어 가능성과 다양성에 얼마나 기여하는가?
• RQ3 유일한 자동화된 파이프라인이 원시 3D 데이터셋에 대해 수동 애너테이션 없이 rich한 다중모달 표현을 효과적으로 생성할 수 있는가?
• RQ4 훈련 데이터의 품질과 다양성이 포인트 클라우드, 서피스 거리 함수 등 다양한 표현에서 3D 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ5 다중모달 데이터(텍스트, 이미지, 기하학적 정보)가 3D 생성 모델의 일반화 능력과 일반화 성능에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• UniG3D의 다중 시점 데이터로 훈련된 모델은 단일 시점 데이터로 훈련된 모델보다 성능이 뛰어나며, 특히 희귀하거나 비표준 카메라 각도에서도 뛰어난 성능을 보였다.
• 다중모달 모델을 통해 생성된 기술적 설명 텍스트를 사용할 경우, 카테고리 수준 레이블만 사용하는 것보다 3D 객체 생성의 제어 가능성과 다양성이 크게 향상되었다.
• 유일한 파이프라인이 수동 애너테이션 없이 원시 3D 모델을 rich한 다중모달 표현으로 성공적으로 변환하여 확장 가능한 데이터 쿠레이션을 가능케 하였다.
• 이 데이터셋은 Point-E 및 SDFusion와 같은 3D 생성 모델의 효과적인 훈련을 가능하게 하였으며, 포인트 클라우드 및 서피스 거리 함수 표현 모두에서 성능 향상이 확인되었다.
• 실험 결과, 고품질의 텍스트 및 다중 시점 이미지 데이터가 3D 생성 작업에서 모델의 일반화 능력과 강건성을 향상시키는 데 핵심적임을 확인하였다.
• 본 연구는 데이터 품질, 특히 텍스트 및 이미지 모odal의 품질이 데이터셋 크기만으로는 모델 성능에 더 큰 영향을 미친다는 것을 밝혔다.