[論文レビュー] Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling

Jia Zheng, Junfei Zhang+4 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Vision and Imaging参考文献 43被引用数 26

ひとこと要約

本稿では、幾何的プリミティブおよび関係性を含む豊富な3次元構造アノテーションを持つ、196,515枚のフォトリアリスティックなインテリア画像からなる大規模な合成データセット、Structured3Dを紹介する。このデータセットは、実データの拡張とドメイン適応を可能にし、合成データで訓練されたディーブラーニングモデルを用いてベンチマークデータセットで最先端の結果を達成する。

ABSTRACT

Recently, there has been growing interest in developing learning-based methods to detect and utilize salient semi-global or global structures, such as junctions, lines, planes, cuboids, smooth surfaces, and all types of symmetries, for 3D scene modeling and understanding. However, the ground truth annotations are often obtained via human labor, which is particularly challenging and inefficient for such tasks due to the large number of 3D structure instances (e.g., line segments) and other factors such as viewpoints and occlusions. In this paper, we present a new synthetic dataset, Structured3D, with the aim of providing large-scale photo-realistic images with rich 3D structure annotations for a wide spectrum of structured 3D modeling tasks. We take advantage of the availability of professional interior designs and automatically extract 3D structures from them. We generate high-quality images with an industry-leading rendering engine. We use our synthetic dataset in combination with real images to train deep networks for room layout estimation and demonstrate improved performance on benchmark datasets.

研究の動機と目的

• 既存のデータセットにおける現実世界の3次元構造アノテーションの不足と一貫性の欠如を解決し、堅牢な学習ベースの3次元モデリング手法の開発を促進すること。
• 正確で自動生成された3次元構造アノテーションを備えた大規模でフォトリアリスティックなデータセットを構築し、構造的な3次元モデリングタスクを支援すること。
• 合成データを用いて、現実世界のデータにうまく一般化することができる、ルームレイアウト推定のためのディープニューラルネットワークの訓練を可能にすること。
• マルチモーダルアノテーション（例：レイアウトと深度）を活用して、3次元シーン理解におけるドメイン適応を向上させること。
• 幾何的プリミティブと関係性を用いた統一された表現を提供し、多様な構造的3次元モデリングタスクを支援すること。

提案手法

• プロフェッショナルなインテリアデザインファイルと高精細な3次元オブジェクトモデルを活用し、幾何的プリミティブとその空間的関係性を自動で抽出する。
• 業界をリードするレンダリングエンジンを用いて、3次元シーンの幾何からフォトリアリスティックな2次元画像を生成し、視覚的忠実度を確保する。
• 一貫性があり拡張可能な方法で、ワイヤーフレーム、直方体、平面、対称性などの多様な3次元構造を表現するための統一された「プリミティブ + 関係性」表現を定義する。
• PanoContext や 2D-3D-S などの実データと組み合わせて、合成された Structured3D データを用いてディープラーニングモデル（例：LayoutNet, HorizonNet）を訓練し、一般化性能を向上させる。
• ドメイン判別ネットワークを用いたドメイン適応技術を適用し、合成ドメインと実ドメインの特徴分布を一致させる。レイアウトと深度の両方の予測を統合して、より良い一致を実現する。
• マルチモーダルな監視を導入し、ネットワークに深度予測ヘッドを追加することで、共同最適化によるドメイン適応性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 正確で自動生成された3次元構造アノテーションを備えた大規模な合成データセットは、ルームレイアウト推定におけるディーブラーニングモデルの性能を向上させることができるか？
• RQ2 マルチモーダルアノテーション（例：レイアウトと深度）の導入は、3次元シーン理解におけるドメイン適応性能にどのように影響を与えるか？
• RQ3 Structured3D からの合成データは、3次元レイアウト推定における合成データと現実世界データの性能ギャップをどの程度縮小できるか？
• RQ4 統一された「プリミティブ + 関係性」表現は、既存のデータセットと比較して、多様な3次元構造のアノテーションにおいてより効果的かつスケーラブルであるか？
• RQ5 合成学習データのサイズが、現実世界のベンチマークでの最終性能にどのように影響を与えるか？

主な発見

• PanoContext や 2D-3D-S などの実データセットに、Structured3D から10,000枚の合成画像を追加することで、LayoutNetの3D IoUが1.5%向上し、CEが0.07低下した。
• 10,000枚の合成画像を用いた事前学習により、PanoContext では3D IoUが83.81%から84.77%に、2D-3D-S では57.18%から84.04%に向上し、データスケールの利点を示した。
• レイアウトと深度の監視を組み合わせたドメイン適応（+Depth）により、PanoContext での3D IoUが非適応状態の75.64%から78.34%に上昇し、マルチモーダルアノテーションの価値を実証した。
• 実データベースライン（Real）はPanoContextで81.76%の3D IoUを達成し、+Depthドメイン適応法は78.34%に到達した。これは、合成データからの強力な一般化能力を示している。
• 元のデザインファイルから真値を生成するため、人為的アノテーションエラー（例：非直方体の部屋を直方体レイアウトとして誤ってラベル付け）を含む実データセットの欠陥を回避した。
• 合成データサイズの増加に伴い性能が向上し、10,000枚のデータが最良の結果をもたらした。これはスケーラビリティとデータ効率性を示している。