[論文レビュー] StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN

Hamza Pehlivan, Yusuf Dalva+1 more|arXiv (Cornell University)|Dec 29, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

StyleResは、高レートの潜在コードにおける残差特徴を学習し、編集に応じてそれらを変換することで、StyleGANにおける画像の逆問題と編集を向上させるワンステージフレームワークを提案する。循環整合性と adversarial 損失を組み合わせることで、顔の特徴、アクセサリー、背景など細部を保持した、最先端の再構成忠実度と編集品質を達成する。

ABSTRACT

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

研究の動機と目的

• GANベースの画像逆問題における再構成忠実度と編集可能性のトレードオフを解消すること。高忠実度な再構成は、しばしば編集品質を損なう。
• 低レート符号化では見逃される高レート潜在コードにおける残差特徴を捉えることで、リアルな画像の高忠実度再構成を実現すること。
• 潜在コードの操作に適合するように、残差特徴の適応的変換を学習し、高品質な編集を実現すること。
• 反復的最適化や画像ごとのチューニングを必要とせず、再構成と編集可能性を同時に最適化するワンステージモデルを訓練すること。
• 属性編集中に顔の特徴、アクセサリー、背景要素などの細部の保持を改善すること。

提案手法

• 本フレームワークは、生成器の低層および高層からの特徴を抽出する新しいエンコーダアーキテクチャを採用し、低レート符号化では欠落する残差特徴を学習する。
• オリジナルと編集済みの特徴を別々に処理する2つのモジュール、$E_1$ と $E_2$ を導入し、編集に適した残差特徴の変換を学習する。
• 敵対的損失と循環整合性損失を用いてモデルを訓練する。編集後の潜在コードから元の画像を再構成することを目的とする。
• トレーニング中に、潜在コード間のランダム補間を用いて編集をシミュレートすることで、事前に定義された編集タイプに依存せず、未観測の編集に対しても一般化可能となる。
• エンドツーエンドでトレーニング可能であり、反復的最適化を回避する1回の推論パスで動作する。
• 事前学習済みのStyleGAN生成器を活用して特徴をデコードすることで、編集における意味的整合性を保証する。

Figure 2 : When images are encoded to W+ space, as shown in (b), the reconstructions miss many image details. However, the edits are in good quality (c). Additional features can be learned in higher-rate latent codes. For example, skip connections from encoder to generator in higher resolution featu

実験結果

リサーチクエスチョン

• RQ1 高レート潜在コードにおける残差特徴は、低レート符号化が達成できる範囲を超えて再構成忠実度を向上させることができるか？
• RQ2 学習可能な残差特徴の変換は、多様な潜在コード操作に適応し、編集中に画像の細部を保持できるか？
• RQ3 循環整合性損失は、編集を元に戻した際に入力の細部を保持するためのネットワークの正則化に効果的か？
• RQ4 ワンステージで反復的でないフレームワークは、最適化ベースまたはマルチステージの逆問題手法に比べ、再構成と編集品質の両面で優れているか？
• RQ5 本手法は、属性編集中に顔のそばかす、イヤリング、背景のテクスチャなどの細粒度の高い画像細部をどの程度保持できるか？

主な発見

• StyleResは、e4e、HFGI、HyperStyleと比較して、定性的な評価において再構成と属性編集の両面で最先端の性能を達成した。
• 比較された手法の中で、顔のそばかす、イヤリング、手、帽子などの細部を、多様な編集において一貫して保持している唯一の手法である。
• ポーズ変更や色調調整といった複雑な編集に対しても、目に見えるアーティファクトやアイデンティティの喪失がなく、高い再構成忠実度を維持した。
• アブレーションスタディにより、$E_1$ と $E_2$ の両モジュールが残差特徴とその変換を学習するために不可欠であり、欠落すると著しく性能が低下することが確認された。
• 循環整合性損失の導入により、制約なしの比較と比較して、編集中の細部の保持が顕著に向上した。
• 最適化ベースのベースラインよりも高速な推論を達成し、反復的精錬なしに1回のパスで動作した。

Figure 3 : StyleRes encodes missing features for high-fidelity reconstruction of given input via the first encoder, $E_{1}$ . Those encoded features are the ones which could not be encoded to low-rate W+ space via $E_{0}$ due to the information bottleneck. Through the second encoder, $E_{2}$ , Style