[論文レビュー] LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation

Jianwei Yang, Anitha Kannan+2 more|arXiv (Cornell University)|Mar 5, 2017

Generative Adversarial Networks and Image Synthesis被引用数 137

ひとこと要約

LR-GANは foregroundを再帰的に構成し、別々にモデリングされた外観、形状、ポーズを持つ前景オブジェクトを生成背景の上に重ねることで、DCGANより自然で認識しやすい画像を生成します。GANフレームワーク内で前景-背景のレイヤリングと空間変換を導入します。

ABSTRACT

We present LR-GAN: an adversarial image generation model which takes scene structure and context into account. Unlike previous generative adversarial networks (GANs), the proposed GAN learns to generate image background and foregrounds separately and recursively, and stitch the foregrounds on the background in a contextually relevant manner to produce a complete natural image. For each foreground, the model learns to generate its appearance, shape and pose. The whole model is unsupervised, and is trained in an end-to-end manner with gradient descent methods. The experiments demonstrate that LR-GAN can generate more natural images with objects that are more human recognizable than DCGAN.

研究の動機と目的

• 背景と前景オブジェクトという層状の構造を活用して自然な画像の生成を動機付ける。
• 前景レイヤを生成された背景に貼り付けて段階的に画像を構築する再帰的なGANを提案する。
• 各オブジェクトを外観、形状（マスク）、ポーズ（アフィン変換）に分解して、柔軟なシーン構成を実現する。
• 教師なしでエンドツーエンドに学習させ、複数のデータセットでDCGANに対する改善を示す。

提案手法

• 背景生成器 G_b と、時間ステップ間でパラメータを共有する再帰的な前景生成器 G_f を導入する。
• 各タイムステップ t で、オブジェクトの外観 f_t、形状 m_t、ポーズ a_t を生成し、空間変換器 ST を介して変換し、前のキャンバス x_{t-1} と式 (4) を用いて合成する。
• シグモイド出力を持つマスク m_t を用いてアルファブレンディングされた前景を得、アフィン変換を f_t と m_t の両方に適用するための空間変換グリッドを使用する。
• ノイズLSTMと過去オブジェクトプーリング機構を介して時系列の接続を取り入れ、前の内容に基づいて新しいオブジェクトを条件付けする。
• 実画像と生成画像を識別する識別器 D を用いたGAN目的で訓練し、エンドツーエンドの勾配に基づく最適化を可能にする。
• Inception Score に加えて Adversarial Accuracy および Adversarial Divergence を含む評価指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 背景と複数の前景オブジェクトを明示的にモデリングすることで、層状の再帰的GANはより自然で認識しやすい画像を生成できるか？
• RQ2 オブジェクトを外観・形状・ポーズに分解し、アフィン変換を適用することで、前景と背景の分離とシーンの現実感が向上するか？
• RQ3 明示的な空間変換とマスクが、データセット全体で生成画像の品質と文脈的関連性にどのような影響を与えるか？
• RQ4 提案された指標（Adversarial Accuracy および Adversarial Divergence）は、実画像と生成画像間の分布的類似性を評価する際に有効か？
• RQ5 MNIST の変種、CIFAR-10、CUB-200 のようなデータセットにおいて、視覚的忠実度と人間の判断の観点から LR-GAN は DCGAN とどう比較されるか？

主な発見

• LR-GAN は CIFAR-10 および CUB-200 で DCGAN より前景-背景境界がはっきりし、ブレンディングのアーティファクトが少ない画像を生成する。
• 定性的および人間の評価では、LR-GAN がより現実的で認識しやすいオブジェクトを生成し、例えば CUB-200 では鳥の形状がより鋭い。
• 報告された実験で、CIFAR-10 では Inception Score の variant、Adversarial Accuracy、Adversarial Divergence の指標で LR-GAN が DCGAN を上回る。
• アブレーション研究は、アフィン変換とマスク（形状）生成器の重要性を示し、劣化した分解を避け現実味のある結果を保つ。
• 文脈生成の結果は、固定背景と適合する前景を示し、層間の学習された文脈的依存性を示唆する。
• CIFAR-10 の特定クラス（例: horse, frog, cat）でカテゴリ固有の生成器が現実感を高める。