[論文レビュー] OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation

Tong Wu, Jiarui Zhang+10 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

OmniObject3D は、190 の日常的カテゴリにまたがる 6,000 個のオブジェクトを含む大規模で高精細な実物スキャン 3D データセットを提供する。テクスチャ付きメッシュ、点群、マルチビュー画像、動画を含む豊富なアノテーションを備え、3D パーセプション、新規ビュー合成、ニューラルサーフェス再構築、3D 生成分野における先進的な研究を可能にする。その現実的な幾何学的形状と外観により、現実的 3D 視覚分野における新たな課題と機会を明らかにする。

ABSTRACT

Recent advances in modeling 3D objects mostly rely on synthetic datasets due to the lack of large-scale realscanned 3D databases. To facilitate the development of 3D perception, reconstruction, and generation in the real world, we propose OmniObject3D, a large vocabulary 3D object dataset with massive high-quality real-scanned 3D objects. OmniObject3D has several appealing properties: 1) Large Vocabulary: It comprises 6,000 scanned objects in 190 daily categories, sharing common classes with popular 2D datasets (e.g., ImageNet and LVIS), benefiting the pursuit of generalizable 3D representations. 2) Rich Annotations: Each 3D object is captured with both 2D and 3D sensors, providing textured meshes, point clouds, multiview rendered images, and multiple real-captured videos. 3) Realistic Scans: The professional scanners support highquality object scans with precise shapes and realistic appearances. With the vast exploration space offered by OmniObject3D, we carefully set up four evaluation tracks: a) robust 3D perception, b) novel-view synthesis, c) neural surface reconstruction, and d) 3D object generation. Extensive studies are performed on these four benchmarks, revealing new observations, challenges, and opportunities for future research in realistic 3D vision.

研究の動機と目的

• 3D ビジョンモデルの学習および評価に向けた大規模で高品質な実世界 3D データセットの不足に対処すること。
• 合成データと実世界データのドメインギャップを埋めるために、現実的で多様性に富み、高精細なデータセットを提供すること。
• ImageNet や LVIS などの一般的な 2D データセットのカテゴリと整合させることで、一般化可能な 3D レプリゼンテーション学習を支援すること。
• 3D パーセプション、新規ビュー合成、ニューラルサーフェス再構築、3D 生成分野における包括的なベンチマークを確立すること。
• 4 つの主要な研究トラックにわたる広範な評価を通じて、現実的 3D 視覚分野における新たな課題と機会を明らかにすること。

提案手法

• 高精細なテクスチャ付きメッシュと正確な点群を取得するために、プロフェッショナルな 3D および 2D スキャナを用いてデータセットを構築する。
• 各オブジェクトは、マルチビュー RGB 画像、前景マスク付きの実物撮影動画、COLMAP によるカメラポーズを含む。
• テクスチャ付きメッシュおよび点群は、幾何学的正確性と現実的なテクスチャディテールを保証する高精度スキャンパイプラインを用いて生成される。
• 一貫性のある評価を実現するため、Blender を用いて一貫したカメラパrameter でマルチビュー画像をレンダリングする。
• 4 つの評価トラックを設定：ロバスト 3D パーセプション、新規ビュー合成、ニューラルサーフェス再構築、3D オブジェクト生成。
• Chamfer Distance や FID といった定量的指標を用い、NeuS や MonoSDF、GET3D といった標準ベースラインを用いてモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 実物スキャンされた 3D データのリアリズムと多様性は、分布シフトや汚染下における 3D パーセプションのロバストネスにどのように影響を与えるか？
• RQ2 マルチビュー画像および高品質メッシュは、新規ビュー合成およびニューラルサーフェス再構築をどの程度向上できるか？
• RQ3 現実世界スキャンからのスパarsely 視点で学習された現在のニューラルサーフェス再構築手法の限界は何か？
• RQ4 大語彙データセットの意味的および視覚的多様性は、3D オブジェクト生成および分離性にどのように影響を与えるか？
• RQ5 複雑な幾何学的形状とテクスチャを持つ実世界 3D オブジェクトに一般化する 3D 生成モデルの主な課題は何か？

主な発見

• 8 視点のスパースビュー再構築設定で NeuS を用いたところ、100 視点ベースライン（6.09）と比較して Chamfer Distance が著しく悪化した（7.96）ことから、スパース監視下での継続的な課題が明らかになった。
• MonoSDF では、視点数を 5 から 8 に増やしても性能向上のリターンが著しく減少したため、深度ガイドの品質に限界があることが示された。
• コストボリューム初期化において、30 個の最近傍ソースビューを選択する範囲が最適であることが判明。特徴の一貫性と文脈の豊かさのバランスが取れている。
• グループレベルのクラスタリングにより、内部類似度の高いグループ（例：果物・野菜）が生成分布を支配している一方、類似度が低いグループ（例：ピーナッツ、ハンドバッグ、キノコ）は学習を妨げることが判明した。
• 分離可能な補間では、幾何学的特徴とテクスチャ特徴が完全に分離されていないことが判明。特に本の表紙のような複雑なテクスチャでは、幾何学的変化がテクスチャに影響を与えることが観察された。
• 本の表紙のような複雑なテクスチャは一貫して不正確に生成されており、今後の 3D 生成モデルにおける主要な課題が浮き彫りになった。