[論文レビュー] Google Scanned Objects: A High-Quality Dataset of 3D Scanned Household Items

Laura Lee Downs, Anthony Francis+6 more|arXiv (Cornell University)|Apr 25, 2022

3D Shape Modeling and Analysis被引用数 13

ひとこと要約

本論文では、独自のステレオビジョンおよび構造化光スキャンパイプラインを用いて、1,000点を超える3次元スキャンされた家庭用品を含む、高品質でオープンソースのデータセットであるGoogle Scanned Objects (GSO) を紹介する。このデータセットは、Ignition Gazebo や Bullet といったシミュレーションプラットフォームでの利用を想定して事前処理が施されており、ロボット工学およびコンピュータビジョン分野におけるリアルな物理的・視覚的シミュレーションを可能にし、視覚、ナビゲーション、操作の分野で10のプロジェクトに実証的な影響を及ぼした。

ABSTRACT

Interactive 3D simulations have enabled breakthroughs in robotics and computer vision, but simulating the broad diversity of environments needed for deep learning requires large corpora of photo-realistic 3D object models. To address this need, we present Google Scanned Objects, an open-source collection of over one thousand 3D-scanned household items released under a Creative Commons license; these models are preprocessed for use in Ignition Gazebo and the Bullet simulation platforms, but are easily adaptable to other simulators. We describe our object scanning and curation pipeline, then provide statistics about the contents of the dataset and its usage. We hope that the diversity, quality, and flexibility of Google Scanned Objects will lead to advances in interactive simulation, synthetic perception, and robotic learning.

研究の動機と目的

• インタラクティブなロボット工学シミュレーションにおけるディーブラーニングシステムのトレーニングに適した、多様で高精細な3次元オブジェクトモデルの不足を是正すること。
• 正確な幾何学的形状とフォトリアルなテクスチャを備えた、スケーラブルでキュレートされた現実世界の家庭用品のデータセットを提供すること。
• 物理的に妥当で視覚的にリアルな3次元モデルを提供することで、シミュレーションから実世界への転移学習を可能にすること。
• 標準化され、アクセス可能なデータセットを通じて、ロボット操作、ナビゲーション、合成知覚に関する研究を支援すること。
• シミュレーション用途に適した日常用品の高品質な3次元スキャンとキュレーションの再利用可能なパイプラインを確立すること。

提案手法

• 高解像度の3次元メッシュを取得するために、二台のマシンビジョンカメラ、HDRカラー撮影用のDSLR、構造化光パターン用のプロジェクタを搭載した独自のスキャン装置を採用した。
• キャリブレーションに基づくパイプラインを用いて、サブピクセル単位のカメラ座標を整合させ、ステレオペアを統合して一貫性のあるメッシュ再構築を実現した。
• 品質保証およびキュレーションプロセスを実装し、水密で高精細なモデルをフィルタリング・精錬した。
• Ignition Gazebo や Bullet シミュレーションプラットフォームとのネイティブ互換性を確保するため、すべてのモデルをSDF形式に事前処理した。
• 視覚的忠実度を保持しつつ、シミュレータ間の互換性を維持するため、拡散テクスチャマッピングを適用した。
• 研究ワークフローへの容易な統合を可能にするために、データセットをIgnition Fuelにホスティングした。

Figure 1: Custom 3D scanning hardware enabled fast capture of raw meshes, which our scanning pipeline aligned using a calibration process followed by QA curation of high-quality models for inclusion in the dataset.

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで高品質な3次元スキャンパイプラインは、ロボット工学シミュレーションに適した多数のリアルな家庭用品を生成できるか？
• RQ2 高精細な3次元スキャンは、ロボット学習タスクにおけるシミュレーテッド環境のリアリズムとパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 GSOデータセットは、合成または手作業で作成されたオブジェクトと比較して、視覚および操作タスクにおけるシミュレーションから実世界への転移学習にどの程度効果的か？
• RQ4 多様で現実世界のオブジェクト形状とテクスチャは、シミュレーションにおけるディーブラーニングモデルの一般化性能にどのような影響を与えるか？
• RQ5 キュレートされ、オープンソースであるスキャン済みオブジェクトデータセットは、合成知覚、ナビゲーション、ロボット操作分野の研究を加速できるか？

主な発見

• GSOデータセットには、正確な幾何学的形状とフォトリアルなテクスチャを備えた1,030点の高品質な3次元スキャンされた家庭用品が含まれており、物理的シミュレーションに適している。
• スキャンパイプラインは高い幾何学的忠実度を達成しており、滑らかな表面と正確なシルエットエッジを実現し、一般的なRGB-Dスキャン結果を上回った。
• このデータセットは、コンピュータビジョン、ロボット工学、グラフィックス分野の10の異なる研究プロジェクトに統合され、iGibson、NViSII、IBRNet が含まれる。
• GSOを用いたプロジェクトでは、視覚的リアリズムの向上と、特に grasping およびナビゲーションタスクにおけるシミュレーションから実世界への転移性能の向上が報告された。
• 高品質で現実世界の幾何学的形状を備えたこのデータセットのおかげで、微分可能なステレオおよびキーポイント変形モデルの検証が可能になった。
• クリーニングされたスペキュラーおよび透明素材を含むデータセットの内部拡張により、RetinaGAN や RL-CycleGAN などの生成モデルの性能が向上した。

(a) Scanning Pipeline