[論文レビュー] CLIPstyler: Image Style Transfer with a Single Text Condition

Gihyun Kwon, Jong Chul Ye|arXiv (Cornell University)|Dec 1, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

CLIPstylerは、参照スタイル画像を必要とせず、単一のテキスト記述子のみを用いて現実的でないスタイル転送を生成する新しい画像スタイル転送手法を提案する。CLIPのテキスト・画像埋め込みと、マルチビューの増幅を用いたパッチ単位の対照的損失を活用することで、コンテンツ構造を保持しつつ、意味的に根拠のある、鮮やかで多様なテクスチャを生成する細分化された、意味的根拠のあるスタイル転送を実現する。

ABSTRACT

Existing neural style transfer methods require reference style images to transfer texture information of style images to content images. However, in many practical situations, users may not have reference style images but still be interested in transferring styles by just imagining them. In order to deal with such applications, we propose a new framework that enables a style transfer `without' a style image, but only with a text description of the desired style. Using the pre-trained text-image embedding model of CLIP, we demonstrate the modulation of the style of content images only with a single text condition. Specifically, we propose a patch-wise text-image matching loss with multiview augmentations for realistic texture transfer. Extensive experimental results confirmed the successful image style transfer with realistic textures that reflect semantic query texts.

研究の動機と目的

• 既存のニューラルスタイル転送手法における主要な制限要因である、参照スタイル画像の必要性を排除すること。
• 望ましいスタイルの自然言語記述子のみに基づいて、コンテンツ画像に現実的で多様なテクスチャを転送すること。
• 事前学習済みの生成モデルやインスタンス正規化層（例：AdaIN）に依存することを回避し、テキスト条件付きのスタイライゼーションを目的とした軽量CNNを訓練すること。
• マルチビューの増幅を用いたパッチ単位のCLIPベースの損失により、テキストプロンプトと視覚的テクスチャの間の意味的整合性を向上させること。
• トレーニング中に高スコアのパッチに対して新たなしきい値正則化を適用することで、過剰なスタイライゼーションアーティファクトを低減すること。

提案手法

• 軽量CNNを訓練し、CLIPのテキスト・画像埋め込み空間を教師信号として用いて、1つのテキスト条件に基づきコンテンツ画像を変換する。
• パッチ単位の対照的損失を導入し、生成画像からのパッチをCLIPを介してテキスト埋め込みと比較することで、局所的なテクスチャの整合性を促進する。
• パッチの回転やクロップなどのマルチビューのデータ増幅を適用することで、転送されたテクスチャの多様性と現実性を向上させる。
• 異常に高い類似度スコアを持つパッチに対してしきい値正則化を適用し、特定のパッチパターンへの過剰適合を抑える。
• 最適化ベースと高速推論ベースの両方の推論モードをサポートしており、高解像度のスタイライゼーションを可能にする。
• モデルは各テキスト条件ごとに訓練されるため、多様なテキストプロンプトに柔軟に適応可能なスタイル転送が可能になる。

Figure 2 : Overall schematics of our proposed patch-wise CLIP loss. We optimize the neural network $f$ using the loss functions.

実験結果

リサーチクエスチョン

• RQ1 1つのテキスト記述子のみを用いて、参照スタイル画像を一切必要とせずに画像スタイル転送を効果的に行うことができるか？
• RQ2 CLIPの事前学習済みテキスト・画像埋め込みを活用することで、意味的に意味のある現実的でないスタイル転送を生成できるか？
• RQ3 マルチビューの増幅を用いたパッチ単位の対照的損失は、スタイル転送における局所的テクスチャの現実性と多様性を向上させるか？
• RQ4 しきい値正則化は、トレーニング中に高類似度スコアを持つパッチによって引き起こされる過剰なスタイライゼーションアーティファクトを緩和できるか？
• RQ5 コンテンツ保持性とスタイル正確性の観点から、既存のCLIPベースやAdaINベースのスタイル転送手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法は、『ウォーターカラーペイント』『ファウブリズム』『インクウォッシュペイント』など、多様なスタイルの例で示されるように、テキスト記述子のみに基づき、現実的で多様なテクスチャをコンテンツ画像に効果的に転送している。
• マルチビューの増幅を用いたパッチ単位のCLIP損失は、視覚的品質と意味的整合性の両面でベースライン手法を上回り、テクスチャの現実性と多様性を顕著に向上させた。
• しきい値正則化は、高スコアパッチに起因する過剰なスタイライゼーションアーティファクトを効果的に低減し、全体的な視覚的一致性を改善した。
• 高解像度出力（最大1920×2580）は、詳細なスタイライズド画像を実用的応用に適した形で生成できることを示している。
• ユーザースタディの結果と定性的比較から、CLIPstylerはAdaIN+CLIP、StyleCLIP、VQGAN+CLIPといった既存手法を、コンテンツ保持性とスタイル合成品質の両面で上回っている。
• 失敗事例は、パッチサンプリングの悪さや、テキストの直訳的視覚化への過剰依存という制限を示しており、今後の改善のためのサンプリング戦略やプロンプト工学の向上が求められる。

Figure 3 : Style transfer results on various query text conditions. Our method can synthesize realistic textures which reflect the text conditions. Additional results are in our Supplementary Materials.