[論文レビュー] Depth Structure Preserving Scene Image Generation

Wendong Zhang, Bingbing Ni+3 more|arXiv (Cornell University)|Jun 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 3

ひとこと要約

本稿では、空間的依存関係をハーケス点過程を用いて深度層間でモデル化することで、自然なシーン画像生成における深度構造を保持する階層的生成対抗ネットワーク、DSP-GANを提案する。各層内で条件付きGANを訓練して現実的な構成要素を生成する。SUNデータセットのサブセットでの実験により、モデルは深度的に現実的で高品質なシーン画像を生成することが示された。

ABSTRACT

Key to automatically generate natural scene images is to properly arrange among various spatial elements, especially in the depth direction. To this end, we introduce a novel depth structure preserving scene image generation network (DSP-GAN), which favors a hierarchical and heterogeneous architecture, for the purpose of depth structure preserving scene generation. The main trunk of the proposed infrastructure is built on a Hawkes point process that models the spatial dependency between different depth layers. Within each layer generative adversarial sub-networks are trained collaboratively to generate realistic scene components, conditioned on the layer information produced by the point process. We experiment our model on a sub-set of SUNdataset with annotated scene images and demonstrate that our models are capable of generating depth-realistic natural scene image.

研究の動機と目的

• 自動的な自然なシーン画像生成における深度構造の保持という課題に対処すること。
• 階層的かつ異種的なネットワークアーキテクチャにおいて、異なる深度層間の空間的依存関係をモデル化すること。
• 深度層情報に条件付けられた生成対抗ネットワークを用いて、現実的なシーン構成要素を生成すること。
• 深度階層を明示的に符号化することで、生成画像のリアリズムと構造的一致性を向上させること。

提案手法

• シーン内の異なる深度層間の空間的依存関係をモデル化するためにハーケス点過程を用いる。
• 各深度層が専用の生成対抗サブネットワークによって処理される階層的アーキテクチャを設計する。
• 深度に依存した生成を保証するために、ハーケス過程によって生成された層固有の情報を各サブネットワークに条件づける。
• 各サブネットワークを協調的に訓練することで、深度層間における一貫性とリアリズムを維持する。
• 構造的忠実性と視覚的リアリズムの両立を図るために、階層的かつ異種的なネットワーク設計を活用する。
• SUNデータセットのアノテート済み深度層を活用して、深度に依存した生成を監視し、リアリズムを向上させる。

実験結果

リサーチクエスチョン

• RQ1 自然なシーン画像の生成中に、どのようにして深度構造を効果的に保持できるか？
• RQ2 どのようなアーキテクチャ設計が、深度層間の空間的依存関係のより良いモデル化を可能にするか？
• RQ3 深度に条件づけられたサブネットワークを備えた階層的GANは、より現実的で構造的一致性のあるシーンを生成できるか？
• RQ4 ハーケス点過程を用いることで、ベースライン手法と比較して、深度に依存したシーン生成はどの程度向上するか？

主な発見

• 提案されたDSP-GANモデルは、層間の空間的依存関係をモデル化することで、生成された自然なシーン画像における深度構造の保持に成功した。
• ハーケス点過程の使用により、深度層間の関係の効果的なモデル化が可能になり、構造的一致性が向上した。
• 各深度層内で訓練された条件付きGANは、全体の深度レイアウトと整合性のある現実的なシーン構成要素を生成した。
• アノテート済みのシーン画像を含むSUNデータセットのサブセットにおいて、モデルはリアリズムと深度の一貫性が向上した。
• 階層的かつ異種的なアーキテクチャにより、深度に依存したシーン生成のより良い分離と制御が可能になった。
• 定量的・定性的な結果から、本モデルは深度構造モデリングを行わないベースラインのGANよりも優れた深度リアリスティックなシーンを生成することが確認された。