[論文レビュー] 3D-FRONT: 3D Furnished Rooms with layOuts and semaNTics

Huan Fu, Bowen Cai+8 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Vision and Imaging参考文献 44被引用数 15

ひとこと要約

3D-FRONTは、18,968室のプロフェッショナルに設計されたインテリア付きの高品質なテクスチャ付き3D家具モデルを備えた大規模な合成3DインDoorシーンデータセットです。スタイルの整合性を保つためにレコメンデーションシステムを活用し、Trescopeと呼ばれる軽量レンダリングツールを公開することで、SUNCG や ShapeNet といった既存のデータセットと比較して、より優れた現実性と一貫性を持つシーンおよびテクスチャ生成の高度な応用を可能にします。

ABSTRACT

We introduce 3D-FRONT (3D Furnished Rooms with layOuts and semaNTics), a new, large-scale, and comprehensive repository of synthetic indoor scenes highlighted by professionally designed layouts and a large number of rooms populated by high-quality textured 3D models with style compatibility. From layout semantics down to texture details of individual objects, our dataset is freely available to the academic community and beyond. Currently, 3D-FRONT contains 18,968 rooms diversely furnished by 3D objects, far surpassing all publicly available scene datasets. In addition, the 13,151 furniture objects all come with high-quality textures. While the floorplans and layout designs are directly sourced from professional creations, the interior designs in terms of furniture styles, color, and textures have been carefully curated based on a recommender system we develop to attain consistent styles as expert designs. Furthermore, we release Trescope, a light-weight rendering tool, to support benchmark rendering of 2D images and annotations from 3D-FRONT. We demonstrate two applications, interior scene synthesis and texture synthesis, that are especially tailored to the strengths of our new dataset. The project page is at: https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset.

研究の動機と目的

• SUNCGの提供中止に伴い、大規模かつ高品質でスタイル的に一貫性のある3DインDoorシーンデータセットの不足を解消すること。
• 豊富な意味的アノテーションとプロフェッショナルグレードのテクスチャを備えた、3Dインテリア付き部屋の包括的で公開可能なリポジトリを提供すること。
• 現実的で多様かつスタイル的に一貫性のあるデータセットを提供することで、3Dシーン生成およびテクスチャ生成のデータ駆動型応用を可能にすること。
• Trescopeと呼ばれる軽量レンダリングフレームワークの公開を通じて、レンダリングおよび生成ツールの開発を支援すること。
• レイアウトの質、テクスチャの忠実度、家具のスタイル整合性の面で、既存のデータセットを上回ること。

提案手法

• データセットは、実際のインテリアデザインテンプレートから得たプロフェッショナルに設計された床図および部屋レイアウトを用いて構築される。
• 家具オブジェクトは、産業生産で使用されている高品質な3D家具データセット「3D-FUTURE」から選定される。
• 専門家のインテリアデザインに基づいて訓練されたレコメンデーションシステムにより、各シーン内の家具間で幾何学的およびテクスチャ的スタイルの整合性が保証される。
• Trescopeと呼ばれる軽量レンダリングツールが公開され、3D-FRONTからの2D画像およびアノテーションのベンチマークレンダリングを支援する。
• 参照オブジェクトのVGG特徴量を用いて、他のオブジェクトに対するテクスチャ生成を条件づけることで、シーン全体にわたる一貫性のあるテクスチャ生成が可能になる。
• TM-Netのような生成モデルが3Dシーンレベルのテクスチャ生成に拡張され、特徴量ベースのガイダンスによってテクスチャの一貫性が強制される。

実験結果

リサーチクエスチョン

• RQ1 プロフェッショナルに設計されたレイアウトと高品質でスタイル的に整合性のあるテクスチャを備えた大規模な合成3DインDoorシーンデータセットが、既存のデータセットを上回るシーン生成性能を示せるか？
• RQ2 家具選定におけるスタイルの整合性が、合成されたインテリアシーンの現実性と妥当性をどの程度向上させるか？
• RQ3 3D-FRONTのようなデータセットは、ShapeNetのような汎用的データセットで学習した場合と比較して、3Dシーンにおけるテクスチャ生成の質と多様性を顕著に向上させられるか？
• RQ4 シーンの文脈および特徴量ベースの条件付けを用いることで、シーン内の複数の3Dオブジェクトにわたるテクスチャの一貫性はどのように向上するか？
• RQ5 Trescopeのような軽量レンダリングツールは、3Dシーン応用のベンチマーク化と再現可能性を効果的に支援できるか？

主な発見

• ユーザー評価において、3D-FRONTで学習したモデルは、SUNCGベースの合成と比較して、妥当性の面で64.8％の好まれる割合を示し、優れた現実性とレイアウト品質を示した。
• 3D-FRONTで学習したTM-Netは、テクスチャの多様性に関してLPIPSスコア0.289を達成し、ShapeNetで学習したモデル（0.215）を上回り、より豊かなテクスチャ生成を実現した。
• ユーザー評価において、61.1％の参加者が3D-FRONTから生成されたテクスチャをShapeNetから生成されたものよりも好んだことから、視覚的な豊かさと一貫性の向上が確認された。
• 3D-FRONTには、13,151体の高品質なテクスチャ付き3D家具モデルを備えた18,968室の独自のインテリア付き部屋が含まれており、スケールと品質の面で、すべての公開済みデータセットを上回っている。
• プロフェッショナルなレイアウト設計とスタイルに整合した家具選定により、生成されたインテリアシーンの視覚的忠実度と現実性が顕著に向上した。
• Trescopeは、効率的かつ一貫性のある2Dレンダリングとアノテーション抽出を可能にし、3Dシーン応用の再現可能なベンチマークを支援する。