[論文レビュー] A Large Dataset of Object Scans

Sungjoon Choi, Qian-Yi Zhou+2 more|arXiv (Cornell University)|Feb 8, 2016

3D Surveying and Cultural Heritage参考文献 6被引用数 116

ひとこと要約

本論文は、70名の非専門オペレータが消費者用モバイルRGB-D機材を用いて収集した10,000件を超える3Dオブジェクトスキャンの大規模で公開領域のデータセットと、再構成モデルおよびスキャンの多様性と再構成成功の分析を提示する。

ABSTRACT

We have created a dataset of more than ten thousand 3D scans of real objects. To create the dataset, we recruited 70 operators, equipped them with consumer-grade mobile 3D scanning setups, and paid them to scan objects in their environments. The operators scanned objects of their choosing, outside the laboratory and without direct supervision by computer vision professionals. The result is a large and diverse collection of object scans: from shoes, mugs, and toys to grand pianos, construction vehicles, and large outdoor sculptures. We worked with an attorney to ensure that data acquisition did not violate privacy constraints. The acquired data was irrevocably placed in the public domain and is available freely at http://redwood-data.org/3dscan .

研究の動機と目的

• 消費者向けのデプロイ条件を反映するため、制御されていない現実世界環境で収集された大規模で多様な3Dオブジェクトスキャンデータセットを提供する。
• 非専門家によるモバイルスキャンデータ上でのオブジェクト再構成パイプラインの実用性と課題を評価する。
• 生データとなるスキャンと再構成モデルの両方を公開し、3D再構成・モデリングおよび関連タスクの研究を支援する。
• データ収集手順、オブジェクトの多様性、およびカテゴリ別の再構成結果を文書化し、将来のデータセット設計の指針とする。

提案手法

• ネットブック、RGB-Dカメラ、キャリングケースを組み合わせた10の軽量モバイルスキャニング設定を組み立て、手持ちデータ取得を実施した。
• リアルタイルカラー表示と距離ベースのカラーコードを備えたカスタムスキャンアプリケーションを使用し、オペレータをガイドしオブジェクト表面のカバーを保証した。
• キャンパスでの周知を通じて70名のオペレーターを募集; チュートリアルとガイドラインを提供; 徹底したスキャンを促すために測定時間を報酬として提供。
• オペレーターが選択した物体のビデオを収集し、IRB承認とプライバシー配慮のもとで、公開前に不十分なスキャンを削除。
• ICPベースの幾何的整合とRGB-Dフォトメトリック整合を組み合わせたハイブリッドオドメトリパイプラインを用いて3Dモデルを再構成する：E(Ti)=EICP(Ti)+λERGBD(Ti)。
• 生データRGB-Dスキャンと再構成モデルのサブセットを含むデータセットを提供; 大型オブジェクトと手持ちスキャンに対する再構成パイプラインの限界を指摘。

実験結果

リサーチクエスチョン

• RQ1 非専門家が一般的なモバイルスキャン設定を現実世界の環境で使用した場合に得られるオブジェクトスキャンの規模と多様性はどの程度か。
• RQ2 消費者用グレードの野外スキャンに対する再構成パイプラインの性能と、失敗モードはどうなるか。
• RQ3 このようなスキャンから3Dモデルを再構成する際のカテゴリ別成功率と全体的な実現可能性はどうか。
• RQ4 スキャンモダリティ（手持ち対固定）がデータ品質と再構成結果に与える影響はどうか。

主な発見

• データセットは10,000件を超える専用オブジェクトスキャンを含み、平均スキャン長は77秒で、2300万を超えるRGB-D画像を生み出している。
• 対象物は多岐にわたり、カテゴリは幅広い。車両はスキャンの約13%、椅子/テーブルは合わせて約10%、44カテゴリ中各カテゴリ少なくとも44スキャン（h-index = 44）。
• 再構成パイプラインで1,781シーケンスを処理。ドリフトや高速運動により969が失われ、フィルタリング後に812が保持され、公開用に品質査読を通過したモデルは398。
• 再構成パイプラインは9つのオブジェクトカテゴリ（Chair, Table, Trash container, Bench, Plant, Sign, Bicycle, Motorcycle, Sofa）で全体の成功率22%を達成。
• 3つの大型オブジェクトは、ループクロージャとグローバル最適化を含む高忠実度パイプラインで再構成され、データの大部分に適用された標準パイプラインを超えている。