[論文レビュー] Style Generator Inversion for Image Enhancement and Animation

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|Jun 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 17

ひとこと要約

本論文は、StyleGAN生成器のための新しい逆問題解法を導入し、強力な画像事前分布としての応用を可能にする。StyleGANの潜在空間における可逆性と線形分離性を活用することで、トレーニングなしに1024×1024解像度の非教師付き顔の再アニメーションを実現し、従来のGANおよびDeep Image Priorを上回る性能を発揮する。

ABSTRACT

One of the main motivations for training high quality image generative models is their potential use as tools for image manipulation. Recently, generative adversarial networks (GANs) have been able to generate images of remarkable quality. Unfortunately, adversarially-trained unconditional generator networks have not been successful as image priors. One of the main requirements for a network to act as a generative image prior, is being able to generate every possible image from the target distribution. Adversarial learning often experiences mode-collapse, which manifests in generators that cannot generate some modes of the target distribution. Another requirement often not satisfied is invertibility i.e. having an efficient way of finding a valid input latent code given a required output image. In this work, we show that differently from earlier GANs, the very recently proposed style-generators are quite easy to invert. We use this important observation to propose style generators as general purpose image priors. We show that style generators outperform other GANs as well as Deep Image Prior as priors for image enhancement tasks. The latent space spanned by style-generators satisfies linear identity-pose relations. The latent space linearity, combined with invertibility, allows us to animate still facial images without supervision. Extensive experiments are performed to support the main contributions of this paper.

研究の動機と目的

• 従来のGANにおける可逆性の欠如とモード崩壊の問題が、画像事前分布としての応用を制限していることに対処する。
• StyleGAN生成器が敵対的訓練を経ていても、可逆であり、高精度に実画像を再構築できることを示す。
• StyleGANの潜在空間におけるアイデンティティとポーズの線形分離性を活用し、非教師付き顔アニメーションを実現する。
• 超解像やインpaintingなどの画像補強タスクにおける、StyleGANを最先端の画像事前分布として確立する。
• 潜在コードの操作による動画から静止画へのモーション転送により、トレーニング不要で即時利用可能な顔の再アニメーションを実現する。

提案手法

• 知覚損失とL2正則化を用いて潜在コードを最適化することで、実画像を逆問題化し、分布内画像の再構築を可能にする。
• アイデンティティとポーズが線形的に分離可能なStyleGANの分離潜在空間を活用し、意味的編集を可能にする。
• フレーム間のポーズコードの差分を計算し、それをターゲットのアイデンティティコードに適用することで、ソース動画の顔の動きをターゲットの静止画像に転送する。
• 最適化された潜在コードの系列に移動平均フィルタを適用し、明るさや背景のアーティファクトを低減し、動きの滑らかさを確保する。
• 各レイヤーごとに1つの潜在コード（レイヤーごとの潜在コード最適化）を用いることで、グローバルな潜在コード入力よりも再構築品質を向上させる。
• 変更された潜在コードを事前に訓練済みのStyleGAN生成器に通して、アニメーション動画を合成する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練とモード崩壊の影響を受けても、StyleGAN生成器は実画像の高精度再構築が可能なほど可逆的か？
• RQ2 StyleGANの潜在空間がアイデンティティとポーズの線形分離をどの程度サポートするか？
• RQ3 可逆なStyleGANは、超解像やインpaintingなどの画像補強タスクにおける強力な画像事前分布として利用可能か？
• RQ4 潜在コードの操作のみを用いて、教師なしで動画のモーションを静止画に転送できるか？
• RQ5 提案手法は、高解像度（1024×1024）で高精度かつトレーニング不要の顔の再アニメーションを達成できるか？

主な発見

• StyleGAN生成器は潜在空間最適化により可逆であり、分布内サンプルからでも高精度な実画像再構築が可能である。
• LPIPSで測定したところ、本手法は従来のGANベースの事前分布およびDeep Image Priorを大きく上回り、画像超解像およびインpaintingベンチマークで顕著な性能向上を示した。
• 潜在空間におけるアイデンティティとポーズの線形分離性のおかげで、1024×1024解像度で信頼性の高い非教師付き顔の再アニメーションが実現された。
• 教師なし・微調整なしに、潜在コードの差分と移動平均フィルタを用いることでモーション転送が達成され、アーティファクトが低減された。
• レイヤーごとの潜在コード最適化は、グローバルな潜在コード入力よりも再構築品質を向上させた。これは、将来のモデルにおけるアーキテクチャ改善の可能性を示唆している。
• 最適化された潜在コードを用いて、実画像上で属性の反転が成功裏に実行され、教師なしで意味的制御性が実証された。