[論文レビュー] In-Domain GAN Inversion for Real Image Editing

Jiapeng Zhu, Yujun Shen+2 more|arXiv (Cornell University)|Mar 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 8

ひとこと要約

本稿では、ドメインガイド付きエンコーダを訓練し、最適化における正則化子として用いることで、逆投影された潜在コードが意味的に意味を持つことを保証するドメイン内 GAN 逆投影手法を提案する。このアプローチは、ピクセルレベルの再構成性能と意味的編集性能の両方を向上させ、顔の編集、補間、意味的拡散タスクにおいて、最先端の手法を顕著に上回る性能を発揮する。

ABSTRACT

Recent work has shown that a variety of semantics emerge in the latent space of Generative Adversarial Networks (GANs) when being trained to synthesize images. However, it is difficult to use these learned semantics for real image editing. A common practice of feeding a real image to a trained GAN generator is to invert it back to a latent code. However, existing inversion methods typically focus on reconstructing the target image by pixel values yet fail to land the inverted code in the semantic domain of the original latent space. As a result, the reconstructed image cannot well support semantic editing through varying the inverted code. To solve this problem, we propose an in-domain GAN inversion approach, which not only faithfully reconstructs the input image but also ensures the inverted code to be semantically meaningful for editing. We first learn a novel domain-guided encoder to project a given image to the native latent space of GANs. We then propose domain-regularized optimization by involving the encoder as a regularizer to fine-tune the code produced by the encoder and better recover the target image. Extensive experiments suggest that our inversion method achieves satisfying real image reconstruction and more importantly facilitates various image editing tasks, significantly outperforming start-of-the-arts.

研究の動機と目的

• 既存の GAN 逆投影手法が、逆投影されたコードの意味的意味性よりもピクセルレベルの再構成を優先するという限界を是正すること。
• 逆投影された潜在コードが、元の GAN の潜在空間の意味的ドメイン内に位置することを保証し、効果的な編集を可能にすること。
• 意味的に整合された潜在コードを再利用することで、事前学習済み GAN を用いた多様な実写編集を可能にすること。
• ドメイン内コードがピクセル最適化コードよりも優れた画像操作を可能にするかを検証すること。
• 高精細再構成と潜在空間における意味的整合性の両立を図る手法を開発すること。

提案手法

• 事前学習済み GAN の潜在空間に実写画像をマッピングするドメインガイド付きエンコーダを訓練し、すべての符号化されたコードがドメイン内に位置することを保証する。
• 訓練済みエンコーダを正則化子として組み込むことで、ドメイン正則化最適化を実行し、逆投影コードを精緻化する。
• 最適化目的関数は、ピクセルレベルの再構成損失と、逆投影コードがエンコーダの出力と整合するよう促すドメイン正則化項の組み合わせで構成される。
• MSE 損失とドメイン正則化の重み付き組み合わせを用い、ハイパーパrameter λdom が再構成と意味的整合性のトレードオフを制御する。
• 微調整なしに個々の画像ごとに最適化を実行するインスタンスレベルの最適化により、高品質な逆投影を実現する。
• 本フレームワークは、属性操作、線形補間、意味的拡散など、多様な編集タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 GAN 逆投影は、ピクセルレベルでの再構成に加え、意味的に意味を持つ潜在コードを生成できるか？
• RQ2 元の GAN の潜在空間に逆投影コードを整合させることで、下流の画像編集能力が向上するか？
• RQ3 学習済みエンコーダによるドメイン正則化は、再構成品質と意味的整合性のトレードオフにどのように影響するか？
• RQ4 1つの事前学習済み GAN モデルが、顔、動物、風景など多様な画像ドメインの編集をドメイン内逆投影により可能にするか？
• RQ5 属性転送や意味的拡散のような意味的編集タスクにおいて、ドメイン内逆投影は、標準的な最適化ベースの逆投影を上回るか？

主な発見

• 提案手法のドメイン内逆投影は、ピクセル精度と意味的整合性の両立を重視する最先端の手法と比較して、優れた画像再構成品質を達成する。
• 本手法は、例えば眼鏡の追加といった意味的編集を高品質に実行でき、ベースライン手法と比較してより自然で一貫性のある結果を得られる。
• 逆投影コード間の線形補間により、滑らかで意味的に整合性のある遷移が得られ、潜在空間の構造が改善されたことが示された。
• 意味的拡散の結果から、本手法はアイデンティティを効果的に保持し、ターゲットの顔を多様な文脈に統合しながらも、現実性と適合性を維持できることを示した。
• アブレーションスタディの結果、ドメイン正則化重み（λdom）を増加させることで意味的編集性能が向上するが、わずかな再構成劣化を伴うことが確認され、トレードオフ設計の妥当性が裏付けられた。
• 本手法はドメインに一般化しやすく、顔生成 GAN を用いても、寝室やネコの顔などドメイン外の画像に対しても意味的に意味を持つコードを生成できる。これに対して、ベースライン手法は構造的意味を保持できない。