[論文レビュー] Deep Structured Generative Models

Kun Xu, Haoyu Liang+3 more|arXiv (Cornell University)|Jul 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 5

ひとこと要約

本稿では、確率的アンドオアグラフ（sAOG）と生成対抗ネットワーク（GANs）を統合した深層構造的生成モデルを提案する。このモデルは、複雑なシーン構造をモデル化し、高品質で現実的な画像を生成する。sAOGを用いて階層的なオブジェクトレイアウトと関係を符号化し、境界ボックスと属性を条件として、ピクセル単位の精細化ネットワークで詳細な画像を生成することで、優れた画像品質を達成するとともに、構造的推論が正確に可能な解釈可能で編集可能なシーン生成を実現する。

ABSTRACT

Deep generative models have shown promising results in generating realistic images, but it is still non-trivial to generate images with complicated structures. The main reason is that most of the current generative models fail to explore the structures in the images including spatial layout and semantic relations between objects. To address this issue, we propose a novel deep structured generative model which boosts generative adversarial networks (GANs) with the aid of structure information. In particular, the layout or structure of the scene is encoded by a stochastic and-or graph (sAOG), in which the terminal nodes represent single objects and edges represent relations between objects. With the sAOG appropriately harnessed, our model can successfully capture the intrinsic structure in the scenes and generate images of complicated scenes accordingly. Furthermore, a detection network is introduced to infer scene structures from a image. Experimental results demonstrate the effectiveness of our proposed method on both modeling the intrinsic structures, and generating realistic images.

研究の動機と目的

• 画像内の複雑な空間的および意味的構造を捉えることが、従来の深層生成モデルの限界である。
• オブジェクト関係や空間的レイアウトといった明示的なシーン構造によって誘導される条件付き画像生成を可能にする。
• 確率的文法モデルから導出される構造的潜在変数を通じて、解釈可能で編集可能な画像編集を実現する。
• 実画像からシーン構造を推論する認識モデルを開発し、再構築と編集を可能にする。
• 深層生成ネットワークを用いて、構造的シーンモデリングと写真同等のリアルな画像生成のギャップを埋める。

提案手法

• 非終端ノードがグループや関係を表し、終端ノードが個々のオブジェクトを表す階層的シーン構造をモデル化するため、確率的アンドオアグラフ（sAOG）を用いる。
• 文法モデルを用いて、空間的および意味的関係を確率的ルールで符号化したパースグラフとしてシーンレイアウトを生成する。
• sAOGが生成した境界ボックスとオブジェクト属性（例：ラベル、回転、素材）を条件として、U-Netベースの精細化ネットワークを用い、480×320解像度の現実的な画像を生成する。
• 実画像から潜在的なsAOG構造を推論するための検出ネットワーク（ResNet-52を搭載したファストR-CNN）を導入し、画像圧縮と再構築を可能にする。
• 6層の畳み込み識別器と2段階の精細化プロセスを用いる：まず境界ボックスから粗い画像を生成し、その後高解像度出力へと精錬する。
• 修正されたスキップ接続を適用したピクセル単位の精細化を実施し、画像生成中に形状と空間的忠実性を保持する。

実験結果

リサーチクエスチョン

• RQ1 sAOGのような構造的潜在変数モデルは、画像生成のための複雑な空間的および意味的関係を効果的に捉えることができるか？
• RQ2 GANベースの精細化ネットワークは、sAOGが生成したレイアウトと属性を条件として、写真同等のリアルな画像を生成できるか？
• RQ3 認識モデルは、実画像からその背後にあるシーン構造を正確に推論できるか？これにより再構築と編集が可能になるか？
• RQ4 標準的なGANやVAEと比較して、構造的事前知識を組み込むことで、画像生成品質がどの程度向上するか？
• RQ5 このフレームワークは、構造的制御を通じて、オブジェクトの操作、移動、属性変更といった柔軟な画像編集操作をサポートできるか？

主な発見

• 本手法は、VAEおよびSN-GANベースラインと比較して、一貫性があり現実的なオブジェクト配置を持つ高品質な画像を生成した。
• sAOGに基づくレイアウト生成は、空間的および意味的関係を含む複雑なシーン構造を効果的にモデル化し、条件付き画像合成を可能にした。
• 認識モデルは3次元位置推定において平均二乗誤差0.014を達成し、実画像からの構造推論の高精度を示した。
• sAOGからのレイアウトサンプリングとその精錬によるリアルな画像生成を通じて、エンドツーエンドの生成能力を示した。
• 実画像からの画像再構築では、480×320解像度の画像に対して1KBの圧縮レートを達成し、効果的な構造符号化を示した。
• 構造的潜在空間の制御を通じて、オブジェクトの追加・削除・移動・属性変更といった柔軟な編集操作をサポートした。