[論文レビュー] CLIP2StyleGAN: Unsupervised Extraction of StyleGAN Edit Directions

Rameen Abdal, Peihao Zhu+3 more|arXiv (Cornell University)|Dec 9, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

CLIP2StyleGANは、CLIPの視覚言語埋め込みを活用することで、人間による属性ラベルなしに、StyleGAN内の分離された意味的編集方向を教師なしで抽出・ラベル化する手法を提案する。『Male/Female』『Smile/No Smile』『Scrap/Burnout/Charred』などの意味的でラベル付けされた編集を自動で特定可能であり、GANにおけるゼロショットでデータ駆動型の意味的編集を実現する。

ABSTRACT

The success of StyleGAN has enabled unprecedented semantic editing capabilities, on both synthesized and real images. However, such editing operations are either trained with semantic supervision or described using human guidance. In another development, the CLIP architecture has been trained with internet-scale image and text pairings and has been shown to be useful in several zero-shot learning settings. In this work, we investigate how to effectively link the pretrained latent spaces of StyleGAN and CLIP, which in turn allows us to automatically extract semantically labeled edit directions from StyleGAN, finding and naming meaningful edit operations without any additional human guidance. Technically, we propose two novel building blocks; one for finding interesting CLIP directions and one for labeling arbitrary directions in CLIP latent space. The setup does not assume any pre-determined labels and hence we do not require any additional supervised text/attributes to build the editing framework. We evaluate the effectiveness of the proposed method and demonstrate that extraction of disentangled labeled StyleGAN edit directions is indeed possible, and reveals interesting and non-trivial edit directions.

研究の動機と目的

• 人間による属性ラベルや教師付きデータを必要とせず、StyleGANにおける意味的に意味のある編集方向を教師なしで発見すること。
• 事前学習済みのStyleGANとCLIPの潜在空間を統合し、画像とテキスト表現の共同分析を可能にすること。
• CLIPのテキスト埋め込みを用いて自動的に編集方向をラベル付けし、手動でのキュレーションや後処理ラベル付けを回避すること。
• 顔画像から性別、年齢、顔の表情などの分離可能で知覚的に関連する属性を抽出すること。
• 発見されたCLIPベースの方向をStyleGANの潜在空間に変換し、制御可能で意味的な画像編集を可能にすること。

提案手法

• 生成画像または実画像とその対応するテキストプロンプトを、CLIPの画像およびテキストエンコーダーで埋め込み処理する。
• CLIPの画像埋め込みに対して主成分分析（PCA）を適用し、データ内に顕著な変動を示す主成分方向を特定する。
• 各主成分方向について、CLIPのテキストエンコーダーを用いて顕著なテキスト的コンセプトを分類し、自然言語表現で方向をラベルづけする。
• 曖昧または複数のコンセプトを含む方向については、CLIPに構造化されたテキストテンプレート（例：'A picture of a {} person'、'A picture of a {} car'）をプロンプトとして与え、改善する。
• 線形射影を用いて、発見されたCLIPの方向をStyleGANのW+潜在空間に射影し、意味的編集を可能にする。
• PCAとテキストベースの精練を組み合わせたハイブリッドアプローチを採用し、抽出された方向の分離性とラベルの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CLIPの視覚言語埋め込みを用いることで、人間による監視なしに、StyleGANにおける意味的でラベル付けされた編集方向を自動で発見できるか？
• RQ2 CLIPの画像埋め込みにPCAを適用することで、潜在空間内でデータ駆動的かつ知覚的に関連する方向を効果的に特定できるか？
• RQ3 CLIPのテキストエンコーダーを用いることで、複雑で多コンセプトを含む方向を、明確で解釈可能な独立した編集方向に分離できるか？
• RQ4 自動抽出されたラベルが、人間が特定した属性と比較して、意味的関連性と解釈可能性においてどの程度一致するか？
• RQ5 特に性別や人種といった感受性の高い属性に対して、編集の際のアイデンティティ保持がどの程度維持されるか？

主な発見

• FFHQを用いた実験で、PCAを用いて20の主要な意味的編集方向を効果的に抽出した。その例として『Male/Female』『Smile/No Smile』『Kids』など、高い意味的整合性を持つ方向が得られた。
• LSUN-CARデータセットでは、『Scrap/Burnout/Charred』という以前に編集に使われたことがない、新規で意味的で重要な方向を発見した。
• ユーザースタディの結果、CLIP2StyleGANが自動生成したラベルは人間が特定したラベルと同等の品質であり、本手法の解釈可能性が妥当であることが裏付けられた。
• アイデンティティ保持が編集全体で維持された：顔の埋め込みのコサイン類似度はほとんどの編集で0.93以上を維持し、属性分類の正答率は0.90～1.00の範囲であった。
• 本手法は、学習データ内に潜む潜在的なバイアス（例：支配的であるとされる民族的背景や職業）を露呈させ、倫理的懸念を浮き彫りにした。また、データバイアス検出の可能性も示唆した。
• GANSpaceベースの編集では『Gender/Male』の分類精度が高かったが、視覚的変化は最小限であった。これに対してCLIP2StyleGANはより顕著で意味的関連性の高い編集を生成していることが示された。