[論文レビュー] StyleGAN2 Distillation for Feed-forward Image Manipulation

Yuri Viazovetskyi, Vladimir Ivashkin+1 more|arXiv (Cornell University)|Mar 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 24

ひとこと要約

本稿では、性別入れ替え、老化、スタイル混合といった特定のスタイル変換を、バックプロパゲーションに基づく最適化を用いずに、フィードフォワード型の画像対画像変換ネットワークに効果的に移行するための蒸留手法を提案する。StyleGAN2の分離された潜在空間から合成されたペairedデータを用いることで、バックプロパゲーションに基づく最適化と同等の高品質でリアルタイムな推論を達成し、性別入れ替えにおいてユーザースタディーで従来の非ペア手法やStyleGANエンコーダーを上回る性能を示した。

ABSTRACT

StyleGAN2 is a state-of-the-art network in generating realistic images. Besides, it was explicitly trained to have disentangled directions in latent space, which allows efficient image manipulation by varying latent factors. Editing existing images requires embedding a given image into the latent space of StyleGAN2. Latent code optimization via backpropagation is commonly used for qualitative embedding of real world images, although it is prohibitively slow for many applications. We propose a way to distill a particular image manipulation of StyleGAN2 into image-to-image network trained in paired way. The resulting pipeline is an alternative to existing GANs, trained on unpaired data. We provide results of human faces' transformation: gender swap, aging/rejuvenation, style transfer and image morphing. We show that the quality of generation using our method is comparable to StyleGAN2 backpropagation and current state-of-the-art methods in these particular tasks.

研究の動機と目的

• バックプロパゲーションに基づく潜在コード最適化を用いずに、リアルワールドの顔に対して高速でフィードフォワード型の画像操作を可能にすること。
• 生産環境におけるリアルタイム応用において、バックプロパゲーションの非現実的さを解消すること。
• StyleGAN2の分離された潜在空間から高品質な合成ペアデータセットを生成し、画像対画像ネットワークの学習に用いること。
• 合成データで学習したモデルが、実世界の画像に効果的に一般化できることを示すこと。
• 特定の操作（性別入れ替えなど）において、定量的指標およびユーザーランクの両面で、従来の非ペア画像対画像変換手法やStyleGANエンコーダーを上回ること。

提案手法

• 制御された潜在空間操作（例：ベクトルの加算、補間、平均化）をStyleGAN2のW+空間で適用することで、合成ペアデータセットを生成する。
• 各操作タスク（性別入れ替え、老化、スタイル混合）に対して、参照画像と操作済み潜在コードを用いて複数の画像トリプレットまたはペアを生成する。
• pix2pixHDに基づく画像対画像変換ネットワークを、合成ペアデータで学習させ、入力画像から操作済み画像へのマッピングを学習する。
• StyleGAN2の潜在空間の分離性を活用することで、多様で現実的かつ意味的に整合性のあるペアデータを生成する。
• 蒸留モデルにより、遅いバックプロパゲーションに基づく潜在最適化を回避し、リアルタイムでフィードフォワード推論を実現する。
• アプローチはモジュラーであり、異なる操作タイプごとに個別にモデルを学習可能である。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN2の潜在空間から生成された合成ペアデータは、バックプロパゲーションを用いずに高品質なフィードフォワード型画像操作を可能にするか？
• RQ2 蒸留された画像対画像ネットワークの性能は、リアルさとユーザーランクの観点から、バックプロパゲーションに基づく潜在最適化と比べてどの程度か？
• RQ3 合成データのみで学習したモデルは、複雑な操作タスクにおいて実世界の画像に効果的に一般化できるか？
• RQ4 StyleGAN2の潜在空間の分離性は、蒸留モデルにおけるクリアでタスク特化型の操作をどの程度可能にするか？
• RQ5 性別入れ替えや老化といった特定タスクにおいて、蒸留アプローチは従来の非ペア画像対画像変換手法を上回るか？

主な発見

• ユーザースタディーにおいて、性別入れ替えの品質とリアルさの両面で86%の勝率を記録し、StyleGANエンコーダー（Nikitko）や他のベースラインを上回った。
• FIDスコアはStyleGAN2のバックプロパゲーションと同等であり、非ペア手法の最先端水準に達しており、性別入れ替えタスクではFIDが12.4を記録した。
• ユーザースタディーでは、蒸留モデルがStyleGAN2のプロジェクション（W+）およびW+を用いた手法を上回り、リアルさで78%、品質で86%の勝率を記録した。
• 本アプローチは他のタスクにも良好に一般化可能である：老化／若返りおよびスタイル混合は、実際のFFHQ画像に対して視覚的に妥当で一貫性のある結果を生成した。
• 潜在空間のエンタングルメントにもかかわらず、本手法は高い視覚的品質を維持しており、女性顔の生成においてわずかな不要な笑顔のアーチファクトが一部見られたにとどまった。
• 蒸留モデルはリアルタイム推論を実現でき、バックプロパゲーションに基づく手法とは異なり、生産用途に適している。