[論文レビュー] UniG3D: A Unified 3D Object Generation Dataset

Qinghong Sun, Yangguang Li+6 more|arXiv (Cornell University)|Jun 19, 2023

3D Shape Modeling and AnalysisEngineering被引用数 3

ひとこと要約

UniG3Dは、ShapeNetおよびObjaverseの生データ3Dモデルを、一貫したマルチモーダル表現（テキスト、画像、点群、メッシュ）に変換するユニバーサルデータ変換パイプラインを用いて構築された大規模で統合された3Dオブジェクト生成データセットを紹介する。このパイプラインはレンダリングエンジンとマルチモーダルモデル（CLIP、BLIP）を活用し、高品質で多様なテキストおよび画像データを生成することで、3D生成モデルのトレーニングデータの品質とスケーラビリティを顕著に向上させた。実証的評価により、Point-E や SDFusion といった手法を用いた場合、モデルのロバスト性とコントロール性が向上していることが示された。

ABSTRACT

The field of generative AI has a transformative impact on various areas, including virtual reality, autonomous driving, the metaverse, gaming, and robotics. Among these applications, 3D object generation techniques are of utmost importance. This technique has unlocked fresh avenues in the realm of creating, customizing, and exploring 3D objects. However, the quality and diversity of existing 3D object generation methods are constrained by the inadequacies of existing 3D object datasets, including issues related to text quality, the incompleteness of multi-modal data representation encompassing 2D rendered images and 3D assets, as well as the size of the dataset. In order to resolve these issues, we present UniG3D, a unified 3D object generation dataset constructed by employing a universal data transformation pipeline on Objaverse and ShapeNet datasets. This pipeline converts each raw 3D model into comprehensive multi-modal data representation by employing rendering engines and multi-modal models. These modules ensure the richness of textual information and the comprehensiveness of data representation. Remarkably, the universality of our pipeline refers to its ability to be applied to any 3D dataset, as it only requires raw 3D data. The selection of data sources for our dataset is based on their scale and quality. Subsequently, we assess the effectiveness of our dataset by employing Point-E and SDFusion, two widely recognized methods for object generation, tailored to the prevalent 3D representations of point clouds and signed distance functions. Our dataset is available at: https://unig3d.github.io.

研究の動機と目的

• 既存の3Dオブジェクト生成データセットに見られる、テキスト品質の低さ、マルチモーダルデータの不完全さ、スケールの限界といった課題に対処すること。
• 任意の生3Dデータセットを手動アノテーションなしに、豊富なマルチモーダル表現に変換できるユニバーサルで自動化されたパイプラインの開発。
• さまざまな入力条件やターゲット表現に対応できる大規模で高品質なデータセットの構築。
• Point-E や SDFusion といった最先端の3D生成モデルを用いた実証的評価を通じて、データセットの有効性を検証すること。

提案手法

• 生3Dモデルを統一されたマルチモーダル4重項 <テキスト, 画像, 点群, メッシュ> に変換するユニバーサルデータ変換パイプラインを設計。
• 各3Dモデルから、36度間隔で配置された複数の視点からの画像と3DメッシュをBlenderを用いてレンダリング。
• CLIP-ViT および BLIP を用いて、レンダリングされた画像から高品質で記述的なテキスト埋め込みを生成し、テキストの豊かさと多様性を向上。
• 幾何学的忠実度を保持するため、微分可能プロジェクション法を用いてマルチビュー画像から点群を抽出。
• このパイプラインはスケーラブルであり、元の3Dデータセット形式に依存せず、生3Dデータのみを入力とすればよい。
• 最終的なデータセットは、ShapeNet と Objaverse のデータを統合して構築され、スケールと品質を確保しており、https://unig3d.github.io/ で公開されている。

実験結果

リサーチクエスチョン

• RQ1 マルチビューでレンダリングされた画像の導入が、珍しい視点条件下での3D生成モデルのロバストネスにどのように影響するか？
• RQ2 マルチモーダルモデルを用いて生成された改善されたテキスト品質が、3Dオブジェクト生成におけるコントロール性と多様性をどの程度向上させるか？
• RQ3 ユニバーサルで自動化されたパイプラインが、手動アノテーションなしに任意の3Dデータセットを豊富なマルチモーダル表現に効果的に変換できるか？
• RQ4 トレーニングデータの品質と多様性が、点群や符号付き距離関数などの異なる表現における3D生成モデルの性能にどのように影響するか？
• RQ5 マルチモーダルデータ（テキスト、画像、幾何学）が、3D生成モデルの一般化性能に果たす相対的寄与度はどの程度か？

主な発見

• UniG3D のマルチビュー画像を用いてトレーニングされたモデルは、単一ビュー画像を用いたモデルよりも優れた性能を示し、とくに珍しいカメラアングルの処理において顕著に優位であった。
• 記述的でマルチモーダルに生成されたテキストを用いることで、カテゴリーレベルのラベルのみを用いた場合と比較して、生成された3Dオブジェクトのコントロール性と多様性が顕著に向上した。
• ユニバーサルパイプラインは、人為的アノテーションなしに生3Dモデルを豊富なマルチモーダル表現に変換でき、スケーラブルなデータキュレーションを可能にした。
• このデータセットは、Point-E や SDFusion といった3D生成モデルの効果的なトレーニングを可能にし、点群および符号付き距離関数表現の両方で性能が向上した。
• 実証的結果から、高品質なテキストおよびマルチビュー画像データが、3D生成タスクにおけるモデルの一般化とロバストネスを向上させる上で極めて重要であることが確認された。
• 本研究では、特にテキストおよび画像モダリティにおけるデータ品質が、単にデータセットサイズよりもモデル性能により大きな影響を与えることが明らかになった。