[論文レビュー] 3D-FUTURE: 3D Furniture shape with TextURE

Huan Fu, Rongfei Jia+5 more|arXiv (Cornell University)|Sep 21, 2020

3D Surveying and Cultural Heritage参考文献 65被引用数 16

ひとこと要約

3D-FUTUREは、産業用CADモデルと熟練したインテリアデザイナーが設計したシーンから作成された、高品質で現実的なテクスチャと詳細な幾何学的形状を備えた大規模な合成3D家具ベンチマークを提供する。20,240枚のフォトリアリスティックな画像、9,992個のユニークなテクスチャ付き家具インスタンス、正確な2D-3Dアライメントを備えており、3D再構築、ポーズ推定、テクスチャ合成といったタスクを支援する。最新のベースラインと包括的な評価指標を提供することで、3Dビジョン分野の先端的研究を促進する。

ABSTRACT

The 3D CAD shapes in current 3D benchmarks are mostly collected from online model repositories. Thus, they typically have insufficient geometric details and less informative textures, making them less attractive for comprehensive and subtle research in areas such as high-quality 3D mesh and texture recovery. This paper presents 3D Furniture shape with TextURE (3D-FUTURE): a richly-annotated and large-scale repository of 3D furniture shapes in the household scenario. At the time of this technical report, 3D-FUTURE contains 20,240 clean and realistic synthetic images of 5,000 different rooms. There are 9,992 unique detailed 3D instances of furniture with high-resolution textures. Experienced designers developed the room scenes, and the 3D CAD shapes in the scene are used for industrial production. Given the well-organized 3D-FUTURE, we provide baseline experiments on several widely studied tasks, such as joint 2D instance segmentation and 3D object pose estimation, image-based 3D shape retrieval, 3D object reconstruction from a single image, and texture recovery for 3D shapes, to facilitate related future researches on our database.

研究の動機と目的

• 産業用途に適した高品質で現実的である3D家具データセットの不足を解消し、詳細な幾何学的形状と情報豊富なテクスチャを備える。
• 学術的な3Dビジョン研究と現実世界の産業設計のギャップを埋めるために、プロダクション用のCADモデルを活用する。
• 2Dインスタンスセグメンテーション、3Dオブジェクトポーズ、正確な2D-3Dアライメントを含む、豊富なアノテーションを備えたベンチマークを提供する。
• 特に複雑で詳細な家具に対して、現実的な素材を備えた高精細な3D形状およびテクスチャ再構築の研究を可能にする。
• 単一画像からの3D再構築および条件付きテクスチャ合成分野における最新技術の開発と評価を促進する。

提案手法

• 産業用プロダクションパイプラインから抽出した9,992個のユニークな3D家具CADモデルを収集し、高い幾何的忠実性と詳細なテクスチャを確保する。
• 熟練したインテリアデザイナーが設計した5,000の現実的で空間的に整合性のあるインテリアルームシーンを構築し、フォトリアルなレンダリングを実現する。
• 256×256の高解像度で、正確な2D-3Dインスタンスレベルのアノテーションと視点情報が付加された20,240枚の合成画像をレンダリングする。
• 単一画像からの3D再構築およびテクスチャ合成のための多視点レンダリングパイプラインを実装する。
• 複数視点におけるテクスチャの一貫性を向上させるために、テクスチャエンコーダーと一貫性損失を組み込んだ、新規のBicycleGAN++フレームワークを導入する。
• 微分可能レンダリングとUVマッピング技術を適用し、テクスチャアトラス学習とテクスチャ回復のエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高品質で現実的なテクスチャと正確な2D-3Dアライメントを備えた大規模で高精細な3D家具データセットは、単一画像からの3Dオブジェクト再構築の性能を向上させ得るか？
• RQ2 産業用プロダクションで作成された高詳細な3D家具モデルと豊富なテクスチャを備えたベンチマークにおいて、既存の最先端手法はどの程度の性能を示すか？
• RQ3 条件付きテクスチャ合成モデルは、同じ3Dメッシュの複数視点において、フォトリアルで一貫性のあるテクスチャをどの程度正確に生成できるか？
• RQ4 情報豊富なテクスチャを備えた複雑で詳細な家具に対して、現在の3D再構築およびテクスチャ合成手法にどのような限界があるか？
• RQ5 公的リポジトリから得られるモデルとは対照的に、高品質でプロダクション用の3Dモデルを含めることで、3Dビジョンモデルの一般化性能と現実性はどの程度向上するか？

主な発見

• 3D-FUTUREにおいて、Pixel2Meshは他のSOTA手法に比べて、IoU、チェンバーディスタンス、Fスコアの観点で優れた性能を示すが、極めて詳細な形状では性能が低下する。
• テクスチャ合成において、Texture Fieldsは構造的なテクスチャディテールの保持を優れていることを示すSSIMおよびL1スコアを達成する一方、BicycleGAN++はFIDおよびFeat1スコアで優れており、より現実的なグローバルなテクスチャ外観を示す。
• BicycleGAN++は主な色のパターンを学習するが、意味的なテクスチャ構造を保持できない。一方、Texture Fieldsはより構造的なテクスチャを生成するが、現実的でないドリームライクなアーチファクトを生じる。
• 3D-FUTUREベンチマークのおかげで、3D形状およびテクスチャ理解の分野で顕著な向上が見られ、2Dインスタンスセグメンテーションや3Dポーズ推定といったタスクにおいて、ベースラインモデルが明確な改善を示した。
• 高解像度のテクスチャと正確な2D-3Dアライメントのおかげで、複数視点におけるテクスチャの一貫性の評価がより正確に可能となり、現在の生成モデルの限界が明らかになった。
• ベンチマークは、産業用の高品質な3D家具モデルと詳細なテクスチャが、高精細な3Dビジョン研究を進めるために不可欠であることを示している。公的リポジトリでは、こうした品質と現実性が不足していることが一般的である。