[論文レビュー] Bridging CLIP and StyleGAN through Latent Alignment for Image Editing

Wanfeng Zheng, Qiang Li+3 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本稿では、CLIPとStyleGANの潜在空間を潜在的整合性によって接続することで、最適化を伴わない多様なテキスト駆動型画像編集を可能にするデータフリー手法、CSLAを提案する。潜在的残差の時間的相対的整合性と適応的スタイルミキシングを用いることで、高精細かつアイデンティティを保持する編集と、追加の学習データや推論時最適化を必要としないテキストから画像への生成を実現する。

ABSTRACT

Text-driven image manipulation is developed since the vision-language model (CLIP) has been proposed. Previous work has adopted CLIP to design a text-image consistency-based objective to address this issue. However, these methods require either test-time optimization or image feature cluster analysis for single-mode manipulation direction. In this paper, we manage to achieve inference-time optimization-free diverse manipulation direction mining by bridging CLIP and StyleGAN through Latent Alignment (CSLA). More specifically, our efforts consist of three parts: 1) a data-free training strategy to train latent mappers to bridge the latent space of CLIP and StyleGAN; 2) for more precise mapping, temporal relative consistency is proposed to address the knowledge distribution bias problem among different latent spaces; 3) to refine the mapped latent in s space, adaptive style mixing is also proposed. With this mapping scheme, we can achieve GAN inversion, text-to-image generation and text-driven image manipulation. Qualitative and quantitative comparisons are made to demonstrate the effectiveness of our method.

研究の動機と目的

• 推論時最適化やクラスタ分析を必要とする既存のテキスト駆動型画像編集手法の非効率性を解消すること。
• 直接的な潜在空間マッピングによって生じるCLIPとStyleGANの潜在空間間の知識分布バイアスを克服すること。
• 追加のデータや推論時計算を必要とせず、任意の多様な編集モードを実現するために、データフリーな方法で潜在マッパーを学習すること。
• 統一された潜在一致フレームワークを用いて、GANの逆問題解決、テキストから画像生成、およびテキスト駆動型編集の複数の下流タスクをサポートすること。

提案手法

• 外部データセットに依存しないデータフリーな学習戦略を提案し、CLIP空間の潜在変数をStyleGANのwおよびs空間にマッピングする潜在マッパーを学習する。
• 潜在残差マッピングを導入：完全な潜在変数のマッピングではなく、基準画像からの差分（Δf_I）をマッピングすることで、分布バイアスを低減する。
• 時間的相対的整合性（TRC）を適用し、CLIP空間における編集中心を動的に選択することで、CLIPとStyleGAN間の知識乖離を最小限に抑える。
• 適応的スタイルミキシング（ASM）モジュールを設計し、s空間での調節信号を学習することでΔsを精緻化し、画像の忠実度を向上させる。
• テキスト埋め込みをStyleGANの潜在空間に投影することで、CLIPの画像およびテキストエンコーダーを用いてGANの逆問題解決とテキスト条件付き画像生成を実現する。
• 対照的損失を用いてCLIPとStyleGANの表現を統合的に最適化し、未学習のテキストプロンプトに対してもゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テキスト駆動型画像編集において、最適化を伴わない高品質で多様な編集方向を維持しつつ、推論時最適化の必要性を排除できるか？
• RQ2 CLIPとStyleGANの潜在空間間の知識分布バイアスは編集の忠実度にどのように影響するか？また、残差ベースのマッピングによってこれを緩和できるか？
• RQ3 時間的相対的整合性は、動的に編集中心を特定することで、潜在マッピングのロバスト性と正確性を向上させるか？
• RQ4 適応的スタイルミキシングは、s空間における生成された潜在コードを精緻化し、テキストプロンプトとの整合性と画像品質を向上させられるか？
• RQ5 統一された潜在一致フレームワークは、追加のデータやファインチューニングなしに、GANの逆問題解決、テキストから画像生成、および編集をどの程度サポートできるか？

主な発見

• 提案されたCSLA手法は、テキスト駆動型画像編集において最先端の性能を達成し、StyleCLIP-optimおよびStyleMCと比較して、定性的および定量的評価の両面で優れている。
• 顔のアイデンティティ評価指標（ArcFace）において、メガネ編集では0.82のスコアを達成し、StyleCLIP-optim（0.62）およびStyleMC（0.69）を大きく上回っている。
• テキストの一貫性（CLIPゼロショット精度）において、メガネでは0.65、笑顔では0.99、年齢では0.56を達成し、すべての編集モードでベースラインを上回っている。
• アブレーションスタディの結果、Δsマッパーの使用がテキスト一貫性を向上させ、ASMが画像忠実度を向上させ、TRCがさらに結果を精緻化しており、特に「ウィッグ」や「マイク」のような微細な属性に対して顕著な効果を示している。
• 本手法は、推論時最適化を伴わず高速な推論を実現しており、SOTA手法の中でもトップクラスの推論速度を達成している。加えて、任意の編集モードをサポートしている。
• CSLAは、CLIPのエンコーダーのみを用いてGANの逆問題解決とテキストから画像生成を成功させ、フレームワークの汎用性と一般化能力を実証している。