[論文レビュー] LSAP: Rethinking Inversion Fidelity, Perception and Editability in GAN Latent Space

Zhao, Xuekun, Cao, Pu+4 more|arXiv (Cornell University)|Sep 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

LSAPは、生成器の潜在空間の合成分布と逆投影された潜在コードを整合させることで、GAN逆投影における認識性能と編集可能性を向上させる、新たな潜在空間整合インバージョンパラダイムを提案する。本手法は、正規化スタイル空間（S^N）と正規化スタイル空間コサイン距離（NSCD）を導入し、微分可能で最適化可能な指標および損失関数として用いることで、エンコーダベースおよび最適化ベースの両手法において、忠実度、認識性能、編集可能性の面で最先端の性能を達成した。

ABSTRACT

As research on image inversion advances, the process is generally divided into two stages. The first step is Image Embedding, involves using an encoder or optimization procedure to embed an image and obtain its corresponding latent code. The second stage, referred to as Result Refinement, further improves the inversion and editing outcomes. Although this refinement stage substantially enhances reconstruction fidelity, perception and editability remain largely unchanged and are highly dependent on the latent codes derived from the first stage. Therefore, a key challenge lies in obtaining latent codes that preserve reconstruction fidelity while simultaneously improving perception and editability. In this work, we first reveal that these two properties are closely related to the degree of alignment (or disalignment) between the inverted latent codes and the synthetic distribution. Based on this insight, we propose the extbf{ Latent Space Alignment Inversion Paradigm (LSAP)}, which integrates both an evaluation metric and a unified inversion solution. Specifically, we introduce the extbf{Normalized Style Space ($\mathcal{S^N}$ space)} and extbf{Normalized Style Space Cosine Distance (NSCD)} to quantify the disalignment of inversion methods. Moreover, our paradigm can be optimized for both encoder-based and optimization-based embeddings, providing a consistent alignment framework. Extensive experiments across various domains demonstrate that NSCD effectively captures perceptual and editable characteristics, and that our alignment paradigm achieves state-of-the-art performance in both stages of inversion.

研究の動機と目的

• 逆投影された潜在コードの合成潜在分布との整合性が、GAN逆投影における認識性能と編集可能性を制限するという限界を解決すること。
• 編集ベクトルに依存しない、潜在コードレベルで認識性能と編集可能性を定量的に反映できる統一的で微分可能な指標の開発。
• 再構成忠実度を損なわずに、エンコーダベースおよび最適化ベースの両逆投影手法に適用可能な汎用的な整合ソリューションの設計。
• 合成分布との整合性を高めることで、GAN逆投影における画像品質と編集可能性が顕著に向上することの実証。

提案手法

• Z、W、S空間よりも効果的かつ効率的な潜在空間として、正規化スタイル空間（S^N）を導入し、不整合度を測定するための空間としての有効性を検証。
• 逆投影されたコードと合成分布との不整合度を定量化するための微分可能で潜在コードレベルの指標として、正規化スタイル空間コサイン距離（NSCD）を提案。
• NSCDに基づく整合損失を定式化し、エンコーダの訓練段階および最適化ベースの逆投影段階で最適化可能とする。
• エンコーダベースおよび最適化ベースの両逆投影フレームワークに一様にNSCDに基づく整合損失を適用し、認識性能と編集可能性を向上。
• 既存の二段階手法（例：HFGI、SAM、PTI）にLSAPパラダイムを統合し、さらなる性能向上を実現。
• NSCDを代理指標として用い、低値であるほど画像品質および編集結果が優れていることを検証。

実験結果

リサーチクエスチョン

• RQ1 逆投影された潜在コードの合成分布との整合性は、GAN逆投影における認識性能と編集可能性にどのように影響を与えるか？
• RQ2 異なる逆投影手法に跨って、潜在コードレベルで認識性能と編集可能性を評価できる統一的で微分可能な指標を開発可能か？
• RQ3 潜在空間の整合性を高めることで、再構成品質を損なわず、忠実度と編集可能性の両方を向上させられるか、その程度はどの程度か？
• RQ4 提案された整合ソリューションは、エンコーダベースおよび最適化ベースの両逆投影手法に効果的に適用可能か？
• RQ5 実際の応用において、NSCD指標は認識品質と編集可能性を信頼性高く反映できるか？

主な発見

• LSAPは、人間の顔、自動車、教会、野生の動物など複数のドメインにおいて、忠実度と編集可能性の両面で最先端の性能を達成した。
• NSCD指標は認識品質と編集可能性と効果的に相関しており、NSCD値が低いほど画像品質が高く、より自然な編集結果が得られる。
• 最適化ベースの逆投影において、LSAPはW空間およびW+空間の両方で編集可能性と画像品質を顕著に向上させた。特に、標準的な射影手法では不自然な詳細が生じるが、LSAPではその問題を軽減した。
• エンコーダベースのLSAP Eは、pSpと同等の再構成忠実度を達成した一方で、e4eよりも顕著に優れた認識性能と編集可能性を示した。
• HFGI、SAM、PTIなどの二段階手法と組み合わせることで、LSAPは最先端の結果を達成し、その汎用性と有効性を示した。
• 視覚的結果から、LSAPは特に編集タスクにおいて、アイデンティティや細部（例：反射、眼鏡）の保持をベースライン手法よりも顕著に改善していた。