[論文レビュー] FlexIT: Towards Flexible Semantic Image Translation

Guillaume Couairon, Asya Grechka+3 more|arXiv (Cornell University)|Mar 9, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

FlexIT は、CLIP のマルチモーダル埋め込み空間とオートエンコーダー潜在空間を活用することで、微調整なしに高品質で自由なフォームの画像編集を実現する、テキスト駆動型で柔軟な意味的画像変換手法を提案する。ImageNet において、画像再構成と意味的整合性を最適化するための新しい正則化を用いることで、『ブタの耳』から『シルクの財布』のような分布外の画像に対しても自然な編集を実現し、最先端の結果を達成する。

ABSTRACT

Deep generative models, like GANs, have considerably improved the state of the art in image synthesis, and are able to generate near photo-realistic images in structured domains such as human faces. Based on this success, recent work on image editing proceeds by projecting images to the GAN latent space and manipulating the latent vector. However, these approaches are limited in that only images from a narrow domain can be transformed, and with only a limited number of editing operations. We propose FlexIT, a novel method which can take any input image and a user-defined text instruction for editing. Our method achieves flexible and natural editing, pushing the limits of semantic image translation. First, FlexIT combines the input image and text into a single target point in the CLIP multimodal embedding space. Via the latent space of an auto-encoder, we iteratively transform the input image toward the target point, ensuring coherence and quality with a variety of novel regularization terms. We propose an evaluation protocol for semantic image translation, and thoroughly evaluate our method on ImageNet. Code will be made publicly available.

研究の動機と目的

• GAN を用いた既存の画像編集手法が狭いドメインや事前に定義された編集操作に限定されているという制限を解消すること。
• 任意の入力画像に対して、自由なテキストによるユーザー定義の画像変換（例：「ネコ → 犬」）を可能にすること。
• 微調整を必要とせず、事前学習済みのコンponents のみを用いる、トレーニングフリーで即時利用可能なフレームワークを構築すること。
• 画像品質、意味的正確性、関係のないコンテンツの保持を含む複数の基準に基づく、意味的画像変換のための堅牢な評価プロトコルを提案すること。

提案手法

• 目的の編集を定義するため、入力画像とテキスト指示を組み合わせ、CLIP のマルチモーダル埋め込み空間内に一つのターゲットポイントとして統合する。
• VQ-GAN オートエンコーダーの潜在空間で画像を最適化し、ターゲット CLIP 埋め込みからの距離を最小化すると同時に、画像品質を維持する。
• ピクセルレベル（LPIPS）、潜在空間（z-正則化）、画像レベル（インpainting スタイル）の制約を含む、新たな正則化項を適用して、現実性と一貫性を確保する。
• 学習されたステップサイズを用いた反復的最適化により、段階的に画像をターゲット埋め込みへと変換し、モード崩壊やアーティファクトを回避する。
• 微調整やペairedデータを必要とせず、CLIP のゼロショット能力を活用してテキストクエリを接地する。
• CLIP の類似度、LPIPS、再構成損失を組み合わせた多目的損失関数を用いて、意味的正確性と視覚的忠実度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 テキスト駆動型画像編集手法は、ドメイン特化のトレーニングを必要とせず、多様で分布外の画像に対しても一般化可能だろうか？
• RQ2 自由なテキストプロンプトによる画像編集において、GAN の潜在空間と比較して、VQ-GAN 潜在空間はどの程度有効だろうか？
• RQ3 正則化項は、テキスト駆動型画像変換における画像品質と意味的整合性をどの程度向上できるだろうか？
• RQ4 ImageNet を用いた統一された評価プロトコルは、複数の基準に基づいて意味的画像変換のパフォーマンスを信頼性高く評価できるだろうか？

主な発見

• FlexIT は、意味的整合性と画像品質を最適化する際、ベースライン（例：IC-GAN、StyleGAN2）と比較して顕著に低い CSFID スコアを達成した。
• ピxls空間を直接使用する場合と比較して、VQ-GAN 潜在最適化の有効性を示すために、CSFID を最大 30% 減少させた。
• ハイパーパramータのアブレーションにより、最適な正則化は編集の正確性と画像の現実性のバランスをとることを示し、CSFID スコアに明確な最小値が存在することがわかった。
• ゼロショット意味的転送の高精度と、入力画像との LPIPS が低いことから、関係のない視覚的要素の保持が効果的に実現されていることが検証された。
• ImageNet における評価では、FlexIT は意味的正確性と視覚的自然さの両面で、既存手法を上回る定量的・定性的な指標を達成した。
• 本手法は、顔以外のオブジェクト（例：動物、車両）を含む多様な画像を、高い忠実度でそのターゲットクラスに変換できた。