[論文レビュー] Deep Generative Modeling for Scene Synthesis via Hybrid Representations

Zaiwei Zhang, Zhenpei Yang+5 more|arXiv (Cornell University)|Aug 6, 2018

3D Surveying and Cultural Heritage参考文献 37被引用数 21

ひとこと要約

本論文は、3次元オブジェクト配置と2次元画像ベースの監視を組み合わせたハイブリッド表現を用いて、3次元屋内シーン合成のためのフィードフォワード深層生成モデルを提案する。スパースに接続されたニューラルネットワークを、潜在ベクトルからオブジェクトの位置、方向、サイズ、数を含むシーン構成へマッピングするように訓練することで、従来の逐次的手法と比較して、より高い忠実度と多様性、かつより高い一貫性と高速な推論を達成する。

ABSTRACT

We present a deep generative scene modeling technique for indoor environments. Our goal is to train a generative model using a feed-forward neural network that maps a prior distribution (e.g., a normal distribution) to the distribution of primary objects in indoor scenes. We introduce a 3D object arrangement representation that models the locations and orientations of objects, based on their size and shape attributes. Moreover, our scene representation is applicable for 3D objects with different multiplicities (repetition counts), selected from a database. We show a principled way to train this model by combining discriminator losses for both a 3D object arrangement representation and a 2D image-based representation. We demonstrate the effectiveness of our scene representation and the deep learning method on benchmark datasets. We also show the applications of this generative model in scene interpolation and scene completion.

研究の動機と目的

• 幾何学的・構造的ばらつきが大きい異種データからパrametricな3次元シーンモデルを学習する課題に対処する。
• 逐次的またはボリュームメトリックな3次元生成手法の限界を克服し、シーンレイアウトの共同最適化を可能にするフィードフォワードアーキテクチャを導入する。
• オブジェクトの位置、方向、サイズ、繰り返し数を含む3次元オブジェクト配置と、2次元画像ベースの監視を組み合わせたハイブリッド表現を開発し、リアリズムと一貫性を向上させる。
• 3次元シーンデータの限られた実世界データからの有効な学習を可能にするために、3次元と2次元の両方の監視信号に適した2つの識別器を活用する。
• シーン補間と補完の応用を示し、トレーニングデータの最近傍のものよりも、意味的・構造的に整合性のある結果を示す。

提案手法

• 3次元シーンをオブジェクト属性（位置、方向、サイズ、カテゴリ、数）の行列として表現することで、複雑な配置をベクトル化・微分可能にエンコードする。
• 低次元の潜在ベクトル（例：標準正規分布）からシーン表現へマッピングするスパースに接続されたフィードフォワードニューラルネットワークを設計し、全結合層と比較して過学習を低減する。
• 生成器を、3つの損失の組み合わせで訓練する：アレンジメントオートエンコーダー損失、3次元アレンジメント識別器損失、および投影された2次元ビューからの画像ベースの識別器損失。
• 実際のと生成されたシーン表現の要素ごとの行列積に基づく一貫性損失を用い、構造的忠実度を強制する。
• 再構成と adversarial 目的のバランスをとるために、ハイパーパrameter α = 1e-3 を用いた確率的勾配降下法で生成器を最適化する。
• マルチビュー2次元監視を活用して、局所的な視点依存パターンを保持し、リアリズムを向上させる一方で、3次元アレンジメント損失により幾何学的・トポロジカルな一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 低次元潜在空間からのフィードフォワード深層生成モデルは、多様かつ現実的な3次元屋内シーンを効果的に合成できるか？
• RQ2 3次元オブジェクト配置表現と2次元画像ベースの監視を組み合わせることで、単一モality手法と比較して、シーン生成品質と一貫性がどのように向上するか？
• RQ3 多様性、リアリズム、推論速度の観点から、ハイブリッド表現は逐次的またはボリュームメトリックな生成手法をどの程度上回るか？
• RQ4 提案手法は、意味的に意味のある結果を得られるように、シーン補間および補完タスクに一般化可能か？
• RQ5 スパースに接続されたアーキテクチャは、複雑な3次元シーン構成に対する表現能力を維持しつつ、過学習をどの程度軽減できるか？

主な発見

• 図1に示すように、本モデルはトレーニングデータをはるかに超える、顕著なトポロジカルおよび幾何的変動を伴う3次元シーンを生成する。
• ベースラインの再帰的手法と比較して、本モデルは1シーンあたり1〜2秒という高速な推論を達成するのに対し、ベースラインは平均76〜83秒を要する。
• シーン補完の結果、オブジェクト数を制約しても、[Fisher et al., 2012] や [Kermani et al., 2016] と比較して、より優れた意味的整合性と局所的相性を示す。
• 3次元アレンジメントと2次元画像の両方の識別器を用いたハイブリッド訓練方式は、単一モalityの監視に比べ、より現実的で一貫性のあるシーンレイアウトを生成する。
• フィードフォワードアーキテクチャにより、すべてのシーン要因の共同最適化が可能となり、逐次的生成手法で一般的に見られる誤差の累積を回避する。
• 定性的な評価から、モデルが複雑なシーンパターンを捉え、同じオブジェクトカテゴリの複数インスタンスを含む妥当な配置を生成できることを確認した。