[論文レビュー] Vector Image Generation by Learning Parametric Layer Decomposition

Othman Sbai, Camille Couprie+1 more|arXiv (Cornell University)|Dec 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 5

ひとこと要約

この論文は、色と微分可能な透過マスクから構成されるパラメトリックレイヤーとして画像を表現する深層生成モデルを提案している。これにより、直感的なユーザー操作が可能で、高解像度かつインタラクティブな画像生成が可能となる。本手法は、CIFAR10、CelebA、ImageNetの各データセットにおいて、類似したメモリ制約下でも最先端の手法と比較して競争力ある再構成品質を達成しており、無限解像度をサポートしている。

ABSTRACT

Deep image generation is becoming a tool to enhance artists and designers creativity potential. In this paper, we aim at making the generation process easier to understand and interact with. Inspired by vector graphics systems, we propose a new deep generation paradigm where the images are composed of simple layers, defined by their color and a parametric transparency mask. This presents a number of advantages compared to the commonly used convolutional network architectures. In particular, our layered decomposition allows simple user interaction, for example to update a given mask, or change the color of a selected layer. From a compact code, our architecture also generates images with a virtually infinite resolution, the color at each point in an image being a parametric function of its coordinates. We validate the viability of our approach in the auto-encoding framework by comparing reconstructions with state-of-the-art baselines given similar memory resources on CIFAR10, CelebA and ImageNet datasets and demonstrate several applications. We also show Generative Adversarial Network (GAN) results qualitatively different from the ones obtained with common approaches.

研究の動機と目的

• ベクターグラフィックスにインspiredされた、より解釈可能でインタラクティブな画像生成フレームワークの開発。
• 空間座標のパラメトリック関数を用いて、コン pact なコードから高解像度画像合成を実現すること。
• レイヤーの色やマスクの編集といった直感的なユーザー操作を可能にすること。
• 類似したメモリ制約下で、自己符号化とGANの両フレームワークにおいて本手法の有効性を検証すること。
• パラメトリックレイヤー分解を用いて、実質的に無限解像度の画像生成が可能であることを示すこと。

提案手法

• モデルは、各々が色と微分可能なパラメトリック透過マスクで定義される複数のレイヤーに画像を分解する。
• 各レイヤーの不透明度は、空間座標の連続関数としてニューラルネットワークを用いてモデル化される。
• 最終的な画像は、標準的なアルファブレンドを用いて、レイヤーを順番に合成することで合成される。
• アーキテクチャは、レイヤーのパrameterから入力画像を再構成するための自己符号化目的で、エンドツーエンドに訓練される。
• ディスクライマをペルセプトアル損失に置き換えることで、GANに拡張され、レイヤー単位の分離性が保持される。
• パラメトリックマスクを任意の座標で評価することにより、学習時の制限を超えた解像度スケーリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックレイヤー分解に基づく深層生成モデルは、最先端の手法と比較して、競争力ある再構成品質を達成できるか？
• RQ2 このようなモデルは、コンパクトなコードのみで、無限解像度の高解像度画像生成を可能にするか？
• RQ3 ユーザーは個々のレイヤー（例：色やマスク）を効果的に編集することで、生成された画像を変更できるか？
• RQ4 メモリ効率と再構成忠実度の観点から、畳み込みネットワークと比較して、パラメトリックレイヤーモデルの性能は如何なるか？
• RQ5 GANバージョンのモデルは、標準のGANと比較して、視覚的に異なった多様な出力を生成できるか？

主な発見

• 本手法は、類似したメモリ制約下で、CIFAR10、CelebA、ImageNetの各データセットにおいて、最先端のベースラインと比較して競争力ある再構成品質を達成している。
• 本手法は、推論時に座標のパラメトリック関数を用いて画素値を計算するため、実質的に無限解像度の画像生成をサポートしている。
• レイヤーの色やマスクの編集といったユーザー操作は、直感的で意味のある画像変更をもたらす。
• GANベースのバージョンは、標準のGANと比較して、視覚的に異なった多様な画像サンプルを生成しており、コンテンツとスタイルの有効な分離が示唆される。
• パラメトリックレイヤー分解により、従来の畳み込みアーキテクチャよりも解釈可能で制御可能な画像生成パイプラインが実現可能である。
• フレームワークは、自己符号化と敵対的学習の両方において、階層的で微分可能な表現が効果的に学習され、利用可能であることを示している。