[論文レビュー] ContraCLIP: Interpretable GAN generation driven by pairs of contrasting sentences

Christos Tzelepis, J. E. Oldfield+2 more|arXiv (Cornell University)|Jun 5, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

ContraCLIPは、対照的な自然言語文のペア（意味的デュアドと呼ばれる）を用いて、事前学習済みのGANの非線形的かつ解釈可能な潜在空間パスをモデルに依存せずに学習する手法を提案する。これらの文のペアをCLIPの視覚言語空間に投影し、RBFに基づくワープを用いて方向性のあるパスを定義することで、アイデンティティを保持し、意味的属性と整合する滑らかで高品質な画像操作を可能にする。本手法は、多様なGANアーキテクチャとデータセットにおいて、従来手法を上回る定性的および定量的性能を示す。

ABSTRACT

This work addresses the problem of discovering non-linear interpretable paths in the latent space of pre-trained GANs in a model-agnostic manner. In the proposed method, the discovery is driven by a set of pairs of natural language sentences with contrasting semantics, named semantic dipoles, that serve as the limits of the interpretation that we require by the trainable latent paths to encode. By using the pre-trained CLIP encoder, the sentences are projected into the vision-language space, where they serve as dipoles, and where RBF-based warping functions define a set of non-linear directional paths, one for each semantic dipole, allowing in this way traversals from one semantic pole to the other. By defining an objective that discovers paths in the latent space of GANs that generate changes along the desired paths in the vision-language embedding space, we provide an intuitive way of controlling the underlying generative factors and address some of the limitations of the state-of-the-art works, namely, that a) they are typically tailored to specific GAN architectures (i.e., StyleGAN), b) they disregard the relative position of the manipulated and the original image in the image embedding and the relative position of the image and the text embeddings, and c) they lead to abrupt image manipulations and quickly arrive at regions of low density and, thus, low image quality, providing limited control of the generative factors. We provide extensive qualitative and quantitative results that demonstrate our claims with two pre-trained GANs, and make the code and the pre-trained models publicly available at: https://github.com/chi0tzp/ContraCLIP

研究の動機と目的

• 事前学習済みのGANの潜在空間において、モデルに依存せずに非線形的かつ解釈可能なパスを発見すること。
• 従来手法の限界、すなわちアーキテクチャに特化した設計、埋め込み空間における相対的位置の無視、および急激で低品質な画像操作を是正すること。
• 事前学習済みの検出器やアノテーションデータを必要とせず、自然言語を用いて直感的かつ意味的に制御可能な生成要因を制御すること。
• CLIPの埋め込み空間における相対的位置を活用することで、属性編集中に高品質な画像とアイデンティティの保持を確保すること。
• 顔画像に限らない多様なGANアーキテクチャと画像ドメインにまで一般化できることを示すこと。

提案手法

• 意味的デュアドは、『若い人』対『年老いた人』のように意味が対照的な自然言語文のペアであり、潜在パスの意味的限界として機能する。
• これらの文がCLIPの視覚言語空間に符号化され、その埋め込みが『デュアド』を形成し、望ましい潜在パスの方向性と境界を定義する。
• RBFに基づくワープ関数がCLIPのテキスト空間に適用され、各意味的デュアドの極の間で非線形的かつ滑らかな方向パスを生成する。
• GANの潜在空間のトレースがCLIP埋め込み空間における非線形パスと一致するように、対照的損失が最適化される。これにより、画像生成が望ましい意味的軌道に従うことが保証される。
• 本手法は、生成画像がターゲットのテキスト埋め込みと一致するよう促進するとともに、元の画像と編集済み画像の相対的位置関係をCLIP空間で維持する損失を用いて、エンドツーエンドで学習される。
• 本アプローチは、StyleGAN2 や ProGAN などのさまざまな事前学習済みGANに適用され、AFHQキャット、ドッグ、LSUNカーなどの顔以外のデータセットでもテストされ、顔中心のGANにとどまらない一般化を示している。

実験結果

リサーチクエスチョン

• RQ1 対照的な自然言語文のペアのみを用いて、事前学習済みのGANの潜在空間に非線形的かつ解釈可能なパスを発見できるか？
• RQ2 GANアーキテクチャがそのような制御を想定して設計されていなくても、本手法はアイデンティティを保持し、高品質な画像を生成できるか？
• RQ3 StyleCLIPなどの従来手法と比較して、本手法は画像品質、アイデンティティ保持、意味的整合性の点で優れているか？
• RQ4 対照的損失の温度やパス正則化の重みといったハイパーパrameterに対して、本手法は頑健か？
• RQ5 顔画像にとどまらず、多様なGANアーキテクチャと画像ドメインに一般化できるか？

主な発見

• ContraCLIPは、すべての意味的デュアドにおいて、平均IDスコア0.9245を達成し、StyleCLIP*（平均0.5624）を大きく上回るアイデンティティ保持を実現した。
• 『ひげのある男性の写真』対『ひげのない男性の写真』という意味的デュアドにおいて、ContraCLIPはアイデンティティ保持スコア0.9407を達成し、顔のひげ属性に対する効果的な制御を示した。
• AFHQキャット、ドッグ、LSUNカーなどの顔以外のデータセットにおいても、高品質で意味的に整合性のある画像操作を実現した。これは、顔中心のGANにとどまらない一般化を確認するものである。
• アブレーションスタディの結果、対照的損失の温度τ ∈ {0.01, 0.1, 0.5, 1.0, 5.0} においても安定した性能を示し、ハイパーパrameterに対して頑健であることがわかった。
• ContraCLIPが学習する非線形パスは、線形手法と比較して滑らかで、急激な変化や潜在空間の低密度領域を回避する。
• 100個のランダムに選択された潜在コードにおける定量的評価では、ContraCLIPがすべての10個の意味的デュアドにおいてベースラインのStyleCLIP*を一貫して上回り、特に『白い肌』から『日焼けした肌』への変換で最大の向上（ID: 0.9344 対 0.5642）を示した。