[論文レビュー] GANosaic: Mosaic Creation with Generative Texture Manifolds

Nikolay Jetchev, Urs Bergmann+1 more|arXiv (Cornell University)|Dec 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 7

ひとこと要約

GANosaicは、コンテンツ画像に一致するテクスチャを合成するために、周期的空間GAN（PSGAN）の潜在ノイズ空間を最適化する新しい手法を導入する。視覚的コンテンツ損失と局所的ノイズチャネルにおける微分可能な統計的正則化を組み合わせることで、目立つタイル境界のない美しく滑らかなモーフィングモザイクを生成し、線形実行時間スケーリングを実現する大規模でメモリ効率の良い画像生成を可能にする。

ABSTRACT

This paper presents a novel framework for generating texture mosaics with convolutional neural networks. Our method is called GANosaic and performs optimization in the latent noise space of a generative texture model, which allows the transformation of a content image into a mosaic exhibiting the visual properties of the underlying texture manifold. To represent that manifold, we use a state-of-the-art generative adversarial method for texture synthesis, which can learn expressive texture representations from data and produce mosaic images with very high resolution. This fully convolutional model generates smooth (without any visible borders) mosaic images which morph and blend different textures locally. In addition, we develop a new type of differentiable statistical regularization appropriate for optimization over the prior noise space of the PSGAN model.

研究の動機と目的

• 複数のテクスチャを自然に融合させ、目立つタイル境界のない高解像度モザイクを生成すること。
• 複数の例示画像にわたる多様体から、新しい変化するテクスチャを生成すること。
• 最適化されたノイズがPSGANの事前分布に近くなるように保つ微分可能な正則化手法を開発すること。
• 線形実行時間複雑性を達成し、任意の大規模な出力解像度をサポートする効率的かつスケーラブルなモザイク生成を実現すること。
• 従来のスタイル転送やパッチベース手法の限界を乗り越え、ピクセル空間ではなく潜在空間を最適化すること。

提案手法

• 本手法は、複数の例示画像から豊かなマルチテクスチャ多様体をモデル化するため、事前学習済みの周期的空間GAN（PSGAN）をテクスチャ事前分布として用いる。
• VGG特徴量を用いたパーセプチュアルコンテンツ損失と、潜在テンソルZの局所的ノイズチャネルにおける新しい微分可能なテクスチャ正則化を組み合わせた損失関数を定式化する。
• 最適化はピクセル空間ではなく、潜在ノイズテンソルZ上で実行されるため、効率的で高解像度の生成が可能である。
• テクスチャ正則化はZの局所的チャネル間の統計的独立性を強制し、多様体構造を保持し、退化したテクスチャを防ぐ。
• 生成器Gは空間的に分割されたZテンソルに適用され、並列計算と非常に大きな画像のメモリ効率の良い処理を可能にする。
• コンテンツ損失は、コンテンツ画像のダウンサンプリングに特徴マッピングφ（例：プーリング層）を用い、低周波数コンテンツと高周波数テクスチャディテールを分離する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのテクスチャモデルの潜在空間における最適化は、自然にテクスチャが変化する、目立たないタイル境界のない高解像度モザイクを生成できるか？
• RQ2 潜在ノイズ空間における微分可能な正則化は、最適化中にテクスチャ多様体の品質をどのように保持するか？
• RQ3 特徴量ダウンサンプリングを伴うパーセプチュアル損失を用いることで、モザイク品質と周波数分離がどの程度向上するか？
• RQ4 本手法は、メモリ制約なしに任意の大規模な画像解像度にスケーリング可能か？
• RQ5 GANosaicは、コンテンツを再構築する際のテクスチャ表現を保持する点で、ニューラルスタイル転送に比べてどのように優れているか？

主な発見

• GANosaicは、目立つタイル境界のないモザイクを生成し、滑らかなテクスチャの融合により高い視覚的品質を達成する。
• 潜在ノイズテンソルにおける空間的分解可能な最適化のおかげで、ストレージの制限を除き、任意の大規模な出力解像度が可能である。
• 微分可能なテクスチャ正則化により、最適化されたノイズが事前分布に近く保たれ、退化したまたは現実的でないテクスチャの発生を防ぐ。
• φによるダウンサンプリングを伴うパーセプチュアル損失を用いることで、高周波数コンテンツがテクスチャ多様体から再構築可能となり、モザイク品質が向上する。
• 特に顔の領域において、スタイル転送がテクスチャを適用できず、代わりにコンテンツピクセルを直接模倣するのに対し、本手法はテクスチャ表現を優れて保持する。
• 最適化は空間的領域ごとに異なるZ値に収束するため、コンテンツ構造に適応する局所的なテクスチャの変化が可能となり、自然なモザイク効果が得られる。