[論文レビュー] Inspirational Adversarial Image Generation

Morgane Rivière, Olivier Teytaud+3 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 7

ひとこと要約

本論文では、ユーザーが提供するインspiration画像をガイドとして、GANの潜在空間最適化を活用して高品質でカスタマイズ可能な画像を生成する、新しい最適化ベースの手法を提案する。繰り返しの段階で人間の好みに基づく勾配または勾配フリーの最適化により潜在コードを改善することで、多様なデータセットにおいて高解像度の出力を得られる、顔の合成やファッション生成に強いアプローチが実現される。

ABSTRACT

The task of image generation started to receive some attention from artists and designers to inspire them in new creations. However, exploiting the results of deep generative models such as Generative Adversarial Networks can be long and tedious given the lack of existing tools. In this work, we propose a simple strategy to inspire creators with new generations learned from a dataset of their choice, while providing some control on them. We design a simple optimization method to find the optimal latent parameters corresponding to the closest generation to any input inspirational image. Specifically, we allow the generation given an inspirational image of the user choice by performing several optimization steps to recover optimal parameters from the model's latent space. We tested several exploration methods starting with classic gradient descents to gradient-free optimizers. Many gradient-free optimizers just need comparisons (better/worse than another image), so that they can even be used without numerical criterion, without inspirational image, but with only with human preference. Thus, by iterating on one's preferences we could make robust Facial Composite or Fashion Generation algorithms. High resolution of the produced design generations are obtained using progressive growing of GANs. Our results on four datasets of faces, fashion images, and textures show that satisfactory images are effectively retrieved in most cases.

研究の動機と目的

• GANのような深層生成モデルを用いた画像生成が煩雑で時間がかかる課題に対処するため、ユーザーがガイドする最適化戦略を導入すること。
• 作成者が膨大な手動チューニングを要せず、自身が選んだリファレンス画像に基づいて画像を生成できるようにすること。
• 数値的な損失関数が存在しない状況でも、人間の好みの比較にのみ依存して機能する手法を開発すること。
• プログレッシブグローミング・GAN（PG-GAN）を用いることで、視覚的品質が向上する高解像度画像生成を達成すること。
• 勾配降下法から勾配フリー手法に至る多様な最適化戦略が、さまざまな画像生成タスクにおいてどれほど有効であるかを評価すること。

提案手法

• 事前に訓練済みのGANの潜在空間において、ユーザーが提供するインスピレーション画像に最も類似した画像を生成するように、潜在コードを最適化する。
• 学習済みの特徴空間を用いて、生成画像とインスピレーション入力との間の知覚的距離を最小化するための反復的最適化ステップを採用する。
• 勾配フリーの最適化器は、人間の好みに基づく画像ペア（より良い／より悪い）の比較によって適用され、数値的損失関数の必要性がなくなる。
• 高解像度画像生成のため、プログレッシブグローミング・GAN（PG-GAN）が使用され、詳細で現実的な出力を保証する。
• 最適化プロセスはランダムな潜在ベクトルから開始され、ユーザーのフィードバックや知覚的類似性に基づいて複数の反復ステップで改善される。
• 標準的勾配降下法から比較ベースの最適化器に至る多様な探索戦略が、耐障害性とパフォーマンスの観点から評価される。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供するインスピレーション画像に基づく潜在空間最適化は、GANにおいて高品質でカスタマイズ可能な画像生成を実現できるか？
• RQ2 人間の好みの比較にのみ依存する勾配フリー最適化手法は、望ましい画像の生成においてどれほど有効か？
• RQ3 提案手法は、顔の合成やファッションデザインを含む多様な画像生成タスクをどの程度サポートできるか？
• RQ4 本フレームワークにおいて、プログレッシブグローミング・GANの使用が、生成画像の解像度と現実性にどのような影響を与えるか？
• RQ5 勾配ベースと勾配フリーの最適化戦略は、収束性と視覚的品質の観点から、どのように比較できるか？

主な発見

• 提案手法は、顔、ファッション、テクスチャの4つの多様なデータセットにおいて、ほとんどのケースで満足のいく画像生成を達成した。
• 数値的損失関数が存在しない状況でも、人間の好みの比較にのみ依存する勾配フリー最適化器は、望ましい画像の生成に有効であることが示された。
• プログレッシブグローミング・GAN（PG-GAN）の統合により、詳細で現実的な出力を得る高解像度画像生成が達成された。
• 最適化プロセスは、勾配降下法から比較ベースの最適化器に至る多様な探索手法に対して、耐障害性を示した。
• 知覚的類似性または好みのフィードバックのみを用いたユーザー誘導型画像生成は、実用的なクリエイティブ応用が可能であることが確認された。