[논문 리뷰] ShapeNet: An Information-Rich 3D Model Repository

Anne Lynn S. Chang, Thomas Funkhouser외 11명|arXiv (Cornell University)|2015. 12. 09.

Image Retrieval and Classification Techniques인용 수 2,362

한 줄 요약

ShapeNet은 WordNet 동의어집으로 구성된 대규모의 의미적으로 주석된 3D CAD 모델 저장소로, 풍부한 기하학적, 기능적 및 물리적 주석과 공개 검색/다운로드 인터페이스를 제공합니다.

ABSTRACT

We present ShapeNet: a richly-annotated, large-scale repository of shapes represented by 3D CAD models of objects. ShapeNet contains 3D models from a multitude of semantic categories and organizes them under the WordNet taxonomy. It is a collection of datasets providing many semantic annotations for each 3D model such as consistent rigid alignments, parts and bilateral symmetry planes, physical sizes, keywords, as well as other planned annotations. Annotations are made available through a public web-based interface to enable data visualization of object attributes, promote data-driven geometric analysis, and provide a large-scale quantitative benchmark for research in computer graphics and vision. At the time of this technical report, ShapeNet has indexed more than 3,000,000 models, 220,000 models out of which are classified into 3,135 categories (WordNet synsets). In this report we describe the ShapeNet effort as a whole, provide details for all currently available datasets, and summarize future plans.

연구 동기 및 목표

• 그래픽스 및 비전 연구를 위한 대규모의 의미적으로 풍부한 3D 모델 수집을 제공합니다.
• 방향, 부품, 대칭 및 물리적 속성으로 모델에 주석을 달아 데이터 기반 분석을 가능하게 합니다.
• 3D 모델을 WordNet 및 다른 모달리티(예: ImageNet)와 연계하여 교차 도메인 연구를 가능하게 합니다.
• 검색, 시각화 및 벤치마킹을 위한 웹 기반 인터페이스와 데이터 접근 도구를 제공합니다.
• 추가 주석 유형과 데이터 소스 간의 대응에 대한 지속적인 확장을 지원합니다.

제안 방법

• Trimble 3D Warehouse 및 Yobi3D와 같은 공개 저장소에서 3D 모델을 수집합니다.
• WordNet 동의어집에 따라 모델을 조직하여 계층적 분류 뷰를 형성합니다.
• 강체 정렬, 부품 및 키포인트, 대칭 및 물체 크기로 모델에 주석을 달습니다.
• 표면 재질 및 무게를 포함한 물리적 특성을 추정하고 주석으로 표시합니다.
• 알고리즘 예측과 크라우드소싱 및 전문가 검증을 결합한 하이브리드 주석 방식 사용합니다.
• 검색, 필터링 및 일괄 다운로드를 위한 Solr 기반 인덱스와 웹 API를 제공합니다.

실험 결과

연구 질문

• RQ1 대규모 3D 모델 저장소를 그래픽스 및 비전 분야의 데이터 기반 연구를 지원하도록 의미적으로 어떻게 구성할 수 있을까?
• RQ2 분할, 정렬, 인식과 같은 하류 작업에 가장 가치 있는 기하학적, 기능적, 물리적 주석은 무엇인가?
• RQ3 3D 모델과 다른 모달리티(예: 이미지) 간의 대응 및 연결을 어떻게 구축하고 활용할 수 있을까?
• RQ4 풍부하게 주석된 ShapeNet 데이터세트의 규모와 카테고리 분포는 어떠하며, 이전의 3D 모델 수집과 어떻게 비교되는가?

주요 결과

• ShapeNet은 대략 3,000,000개의 모델을 인덱싱하고, 그 중 220,000개 모델이 3,135개의 WordNet 동의어집에 분류됩니다.
• ShapeNetCore 서브셋은 55개의 일반적인 물체 카테고리와 약 51,300개의 모델을 포함합니다.
• ShapeNetSem 서브셋은 270개 카테고리에 걸쳐 12,000개의 모델을 보유하고 있으며, 추가적인 실제 차원 및 부피 주석이 포함되어 있습니다.
• ShapeNet은 직립/정면 방향, 부품, 키포인트, 대칭 및 계층적 부품 분해를 포함하는 밀집한 주석 네트워크를 제공합니다.
• 초기 데이터 수집은 공개 저장소(Trimble 3D Warehouse 및 Yobi3D)에 의존하며 알고리즘 예측과 사람 검증을 결합한 하이브리드 주석 전략을 사용합니다.
• 프로젝트는 Solr 기반 인덱스를 사용하고 연구자들을 위한 웹 인터페이스 및 배치 다운로드를 제공합니다.