[論文レビュー] ShapeNet: An Information-Rich 3D Model Repository

Anne Lynn S. Chang, Thomas Funkhouser+11 more|arXiv (Cornell University)|Dec 9, 2015

Image Retrieval and Classification Techniques被引用数 2,362

ひとこと要約

ShapeNet は、WordNet の同義語集合で整理された大規模で意味的に注釈された 3D CAD モデルのリポジトリであり、豊富な幾何学的・機能的・物理的注釈と公開の検索/ダウンロードインターフェースを備えています。

ABSTRACT

We present ShapeNet: a richly-annotated, large-scale repository of shapes represented by 3D CAD models of objects. ShapeNet contains 3D models from a multitude of semantic categories and organizes them under the WordNet taxonomy. It is a collection of datasets providing many semantic annotations for each 3D model such as consistent rigid alignments, parts and bilateral symmetry planes, physical sizes, keywords, as well as other planned annotations. Annotations are made available through a public web-based interface to enable data visualization of object attributes, promote data-driven geometric analysis, and provide a large-scale quantitative benchmark for research in computer graphics and vision. At the time of this technical report, ShapeNet has indexed more than 3,000,000 models, 220,000 models out of which are classified into 3,135 categories (WordNet synsets). In this report we describe the ShapeNet effort as a whole, provide details for all currently available datasets, and summarize future plans.

研究の動機と目的

• グラフィックスとビジョン研究のための、大規模で意味論的に豊富な3Dモデルのコレクションを提供する。
• 方向、部品、対称性、物理属性を注釈付けして、データ駆動型分析を可能にする。
• 3DモデルをWordNetおよび他のモダリティ（例：ImageNet）にリンクして、ドメイン横断研究を可能にする。
• 検索、可視化、ベンチマーク用のウェブベースのインターフェースとデータアクセスツールを提供する。
• 追加の注釈タイプとデータソース間の対応関係の継続的な拡張をサポートする。

提案手法

• Trimble 3D Warehouse および Yobi3D などの公開リポジトリから3Dモデルを収集する。
• WordNet の同義語集合の下にモデルを整理して階層的なタクソノミービューを形成する。
• モデルに剛体整列、部品とキーポイント、対称性、物体サイズを注釈付けする。
• 表面材料や重量を含む物理的特性を推定・注釈付けする。
• アルゴリズム予測とクラウドソーシングおよび専門家検証を組み合わせたハイブリッド注釈アプローチを採用する。
• 検索・フィルタリング・一括ダウンロードのための Solr ベースのインデックスと Web API を提供する。

実験結果

リサーチクエスチョン

• RQ1 グラフィックスとビジョンのデータ駆動型研究を支援するために、どのように大規模な3Dモデルリポジトリを意味論的に組織できるか？
• RQ2 セグメンテーション、アラインメント、認識などの下流タスクにとって、どのような注釈（幾何学的、機能的、物理的）が最も価値があるか？
• RQ3 3Dモデルと他のモダリティ（例：画像）との対応関係とリンクをどのように確立し、活用できるか？
• RQ4 豊富に注釈付けされた ShapeNet データセットの規模とカテゴリ分布はどの程度で、従来の3Dモデルコレクションと比較してどうか？

主な発見

• ShapeNet はおおよそ 3,000,000 のモデルをインデックス化し、220,000 のモデルが 3,135 の WordNet 同義語集合に分類されている。
• ShapeNetCore サブセットは 55 の一般的な物体カテゴリと約 51,300 のモデルを含む。
• ShapeNetSem サブセットは 270 カテゴリにまたがる 12,000 のモデルと、追加の実世界の寸法と体積注釈を含む。
• ShapeNet は直立/前方の向き、部品、キーポイント、対称性、階層的な部品分解を含む密な注釈網を提供する。
• 初期データ収集は公開リポジトリ（Trimble 3D Warehouse および Yobi3D）に依存し、アルゴリズム予測と人間の検証を組み合わせたハイブリッド注釈戦略を使用する。
• 本プロジェクトは Solr ベースのインデックスを使用し、研究者向けにウェブインターフェースとバッチダウンロードを提供する。