[論文レビュー] Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation

Peiye Zhuang, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Feb 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 26

ひとこと要約

tldr: 本論文は、結合回帰器、複数の変換方向、および一体化損失を用いた潜在空間編集フレームワークを提案し、同一性とリアリズムを保持しつつ、従来手法より分離性と制御性を改善したコントロール可能なセマンティック画像編集を実現します。

ABSTRACT

Controllable semantic image editing enables a user to change entire image attributes with a few clicks, e.g., gradually making a summer scene look like it was taken in winter. Classic approaches for this task use a Generative Adversarial Net (GAN) to learn a latent space and suitable latent-space transformations. However, current approaches often suffer from attribute edits that are entangled, global image identity changes, and diminished photo-realism. To address these concerns, we learn multiple attribute transformations simultaneously, integrate attribute regression into the training of transformation functions, and apply a content loss and an adversarial loss that encourages the maintenance of image identity and photo-realism. We propose quantitative evaluation strategies for measuring controllable editing performance, unlike prior work, which primarily focuses on qualitative evaluation. Our model permits better control for both single- and multiple-attribute editing while preserving image identity and realism during transformation. We provide empirical results for both natural and synthetic images, highlighting that our model achieves state-of-the-art performance for targeted image manipulation.

研究の動機と目的

• 画像のアイデンティティを保持しつつ、連続的で複数属性のセマンティック編集を可能にする。
• 監督付きガイダンスを通じてGAN潜在空間における属性変換を分離する。
• 編集品質を向上させるためのグローバルおよびローカルな潜在空間変換戦略を開発する。
• コントロール性と画像アイデンティティの保持を評価する定量的指標を導入する。

提案手法

• 固定されたGANを用い、生成器Gと識別器Dに加えて属性用の事前学習済み回帰器Rを用いる。
• 変換度ベクトルεを介してN属性を編集する潜在空間方向ベクトルTを学習する。
• 潜在コードを編集するために z' = z + T ε を定義し、G(z)とG(z')を合成する。
• G, D, Rを固定したままTを訓練するために、重み付き損失 L = λ1 L_reg + λ2 L_disc + λ3 L_content を最小化する。
• L_regは編集後の予測属性とターゲット属性の間の二値交差エントロピーを使用する。
• L_discは編集後画像のリアリズムを確保するために識別子ベースの損失を使用する。
• L_content（知覚損失）は元画像と編集後画像の特徴を一致させることで画像アイデンティティを保持する。
• 神経ネットワークまたはMLPとして実装されるグローバル（すべてのzに対して固定）およびローカル（z依存）変換Tの両方を探索する。
• StyleGAN2/PGGANのバックボーンを用いた自然場面データセットと顔データセットで訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の方向を学習して、属性を絡み合わせたりアイデンティティを崩さずに複数属性を制御可能に編集できるか？
• RQ2 回帰器と知覚/敵対的損失を組み合わせることは、従来の潜在空間編集手法と比べてより優れた分離性と現実感を生み出すか？
• RQ3 局所的な（z依存の）変換は頑健な多属性編集のためにグローバル方向よりも優れているか？
• RQ4 セマンティック画像編集におけるコントロール性とアイデンティティ保存を評価する定量的指標をどのように設計できるか？

主な発見

• 提案モデルは、単一属性および複数属性の編集の両方で、ベースラインよりも制御性とアイデンティティ保存を向上させる。
• 回帰器、コンテンツ損失、および敵対的損失を組み合わせて訓練することにより、GAN潜在空間における属性変換の分離性が高まる。
• 局所変換はグローバルなものより優れており、データ依存の編集方向を提供して絡みを減らす。
• 本手法は自然場面と顔の両方で、写真のリアリズムを保持した連続的な属性編集を可能にする。）