[论文解读] ShapeNet: An Information-Rich 3D Model Repository

Anne Lynn S. Chang, Thomas Funkhouser+11 more|arXiv (Cornell University)|Dec 9, 2015

Image Retrieval and Classification Techniques被引用 2,362

一句话总结

ShapeNet 是一个大型、语义标注的 3D CAD 模型存储库，按 WordNet 同义词集合组织，具有丰富的几何、功能和物理注释，以及公开的搜索/下载接口。

ABSTRACT

We present ShapeNet: a richly-annotated, large-scale repository of shapes represented by 3D CAD models of objects. ShapeNet contains 3D models from a multitude of semantic categories and organizes them under the WordNet taxonomy. It is a collection of datasets providing many semantic annotations for each 3D model such as consistent rigid alignments, parts and bilateral symmetry planes, physical sizes, keywords, as well as other planned annotations. Annotations are made available through a public web-based interface to enable data visualization of object attributes, promote data-driven geometric analysis, and provide a large-scale quantitative benchmark for research in computer graphics and vision. At the time of this technical report, ShapeNet has indexed more than 3,000,000 models, 220,000 models out of which are classified into 3,135 categories (WordNet synsets). In this report we describe the ShapeNet effort as a whole, provide details for all currently available datasets, and summarize future plans.

研究动机与目标

• 为图形学和计算机视觉领域的研究提供一个大规模、语义丰富的 3D 模型集合。
• 对模型进行方向、部件、对称性和物理属性的注释，以实现数据驱动的分析。
• 将 3D 模型链接到 WordNet 以及其他模态（如 ImageNet），以促进跨领域研究。
• 提供基于网络的界面和数据访问工具，用于搜索、可视化和基准测试。
• 支持持续扩展，增加更多注释类型并在数据源之间建立对应关系。

提出的方法

• 从公开存储库收集 3D 模型，如 Trimble 3D Warehouse 和 Yobi3D。
• 将模型按 WordNet 同义词集组织，形成层次化的分类视图。
• 对模型进行刚性对齐、部件和关键点、对称性以及对象尺寸的注释。
• 估算并注释物理属性，包括表面材料和重量。
• 使用结合算法预测、众包和专家验证的混合注注释方法。
• 提供基于 Solr 的索引和网页 API，用于搜索、筛选和批量下载。

实验结果

研究问题

• RQ1 如何对大规模 3D 模型存储库进行语义化组织，以支持图形学和视觉领域的数据驱动研究？
• RQ2 哪些注释（几何、功能、物理）对下游任务如分割、对齐和识别最有价值？
• RQ3 如何建立并利用 3D 模型与其他模态（如图像）之间的对应关系和链接？
• RQ4 一个丰富标注的 ShapeNet 数据集的规模和类别分布如何，与之前的 3D 模型集合相比如何？

主要发现

• ShapeNet 约索引 3,000,000 个模型，其中 220,000 个模型被分类到 3,135 个 WordNet 同义词集。
• ShapeNetCore 子集覆盖 55 个常见对象类别，约 51,300 个模型。
• ShapeNetSem 子集包含跨 270 个类别的 12,000 个模型，另有现实世界尺寸和体积注释。
• ShapeNet 提供密集注释网络，包括竖直/正面取向、部件、关键点、对称性和分层部件分解。
• 初始数据收集依赖公开存储库（Trimble 3D Warehouse 和 Yobi3D），并采用将算法预测与人工验证相结合的混合注释策略。
• 该项目使用基于 Solr 的索引，并为研究人员提供网络界面和批量下载。