[論文レビュー] A Generative Model of 3D Object Layouts in Apartments

Paul Henderson, Vittorio Ferrari|arXiv (Cornell University)|Jan 1, 2017

Video Surveillance and Tracking Methods参考文献 26被引用数 10

ひとこと要約

本論文では、250,000件の人が設計した部屋にわたる170種類のオブジェクトクラス間の複雑な空間的関係を捉えることで、アパートの3Dオブジェクトレイアウトを学習する深層生成モデルを提案する。モデルは高次元の空間的事前知識を符号化することで、ユーザースタディーや空間的推論に関するアブレーションによって検証された、極めて現実的で一般化可能なレイアウトを生成する。

ABSTRACT

Understanding indoor scenes is an important task in computer vision. This task is typically ambiguous, so we require a strong prior, that captures the regularity of indoor environments. This is naturally expressed by a probabilistic model over 3D room layouts and geometry, reasoning over complex layouts in 3D space, including high-order spatial relations among objects. In this work, we construct such a model, trained on over 250000 human-designed rooms with 170 object classes. We conduct extensive experiments to show the quality of our model. First, we show that it generates samples that are plausible, by an extensive user study involving human comparisons of sampled layouts to ground-truth. Second, we demonstrate the value of incorporating spatial relationships between objects, by showing that this increases the plausibility of samples. Third, we show that our model generalises, rather than simply memorising its training set. Finally, we provide many examples of knowledge learnt by our model, such as support relationships, and common spatial relations between object classes.

研究の動機と目的

• 屋内3次元環境の構造的規則性を捉える確率的生成モデルを開発すること。
• 3次元部屋レイアウトにおける170種類のオブジェクトクラス間の高次元空間的関係をモデル化すること。
• 学習データの記憶にとどまらず、現実的で多様かつ一般化可能な3次元レイアウトを生成すること。
• サポート関係や一般的なオブジェクト配置といった意味のある空間的事前知識が、モデルが学習できるかどうかを検証すること。

提案手法

• 本モデルは、170種類のオブジェクトクラスを含む25万件の人が設計した3次元アパートレイアウトの大型データセットで学習される。
• 3次元空間的構成を推論し、複雑な高次元空間的依存関係を符号化する深層生成アーキテクチャが採用される。
• 「～の上に」、「隣に」、「支持されている」などの空間的関係に対する構造的事前知識が組み込まれる。
• 変分推論または自己回帰的推論を用いて推論と生成が行われ、現実的なレイアウトがサンプリングされる。
• 人間による評価、空間的推論に関するアブレーション、一般化テストを通じてモデルが評価される。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、人間の観察者にとって直感的に現実的な3次元部屋レイアウトを生成できるか？
• RQ2 高次元空間的関係を組み込むことで、生成されたレイアウトの現実性はどの程度向上するか？
• RQ3 モデルは未学習のレイアウトに一般化できるのか、それとも学習例の記憶にとどまるのか？
• RQ4 モデルは、サポート関係や隣接関係といったどのような空間的知識をデータから学習するのか？

主な発見

• 人間による評価では、生成されたレイアウトがユーザーテストにおいて実際の真値レイアウトと区別できないことが確認された。
• モデルに空間的関係を組み込むことで、それらをモデル化しないベースラインと比較して、生成レイアウトの現実性が顕著に向上した。
• モデルは未学習のレイアウトに対しても効果的に一般化しており、学習例の記憶にとどまっているのではなく、一般化可能な事前知識を学習していることが示された。
• モデルは、椅子が通常テーブルの近くに配置され、照明器具がテーブルによって支持されているといった意味のある空間的パターンを学習している。