[論文レビュー] Photoswap: Personalized Subject Swapping in Images

Jing Gu, Yilin Wang+9 more|arXiv (Cornell University)|May 29, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

Photoswapは拡散モデルの注意交換を通じて、ソース画像へ学習済み対象概念を転送することで、ポーズと背景を保持しつつ、学習なしで個人化対象置換を実現し、人間評価でベースラインを上回る。

ABSTRACT

In an era where images and visual content dominate our digital landscape, the ability to manipulate and personalize these images has become a necessity. Envision seamlessly substituting a tabby cat lounging on a sunlit window sill in a photograph with your own playful puppy, all while preserving the original charm and composition of the image. We present Photoswap, a novel approach that enables this immersive image editing experience through personalized subject swapping in existing images. Photoswap first learns the visual concept of the subject from reference images and then swaps it into the target image using pre-trained diffusion models in a training-free manner. We establish that a well-conceptualized visual subject can be seamlessly transferred to any image with appropriate self-attention and cross-attention manipulation, maintaining the pose of the swapped subject and the overall coherence of the image. Comprehensive experiments underscore the efficacy and controllability of Photoswap in personalized subject swapping. Furthermore, Photoswap significantly outperforms baseline methods in human ratings across subject swapping, background preservation, and overall quality, revealing its vast application potential, from entertainment to professional editing.

研究の動機と目的

• 画像の個人化対象置換のフレームワークを導入すること。
• テスト時にトレーニングを行わず、参照画像からターゲット対象を拡散モデルで学習すること。
• ソース画像の注意成分を転写してシームレスな対象置換を導く。
• 参照対象を挿入しつつポーズと全体的な構図を保持すること。
• 広範な実験と人間の評価を通じて有効性を示すこと。

提案手法

• DreamBoothや類似の概念学習を用いて参照画像からターゲット対象 O_t を学習し特殊トークンを作成する。
• モデル全体をテスト時に微調整せず、事前学習済み拡散モデルを新しい概念上書きで取り込むよう微調整する。
• ソース画像生成では自己注意 M、自己注意出力 phi、クロス注意 A を抽出し、後でこれらの中間変数をターゲット画像生成プロセスへスワップする。
• 初期の拡散ステップで phi、M、A をソース画像の対応に置換する一方、ターゲットプロンプトからのクロス注意出力 psi はターゲットIDを保持するために固定したままにする。
• 実画像に対して信頼性のある開始ノイズ z_T を得るため、ヌルテキスト最適化を用いた強化DDIM inversion を用いる。
• レイアウト保持と対象同一性のバランスをとるよう、スワップを制御するステップパラメータ（lambda_phi、lambda_M、lambda_A）を用いる。
• すべての拡散モデルを微調整せずに注意スワップを実行するトレーニング不要アルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 よく設計された視覚的主題をターゲット画像へポーズと画像の一貫性を保ちながらシームレスに転送できるか？
• RQ2 トレーニング不要の拡散モデルにおける注意操作が、参照画像を用いた個人化対象置換をどの程度可能にするか？
• RQ3 自己注意成分 phi、M、A はレイアウト保持と同一性転送にどう寄与するか？
• RQ4 概念学習手法（DreamBooth 対 Text Inversion）がスワップ品質に与える影響は？
• RQ5 Photoswap は人物置換、背景保持、全体品質において人間評価でベースラインと比較してどのように性能を示すか？

主な発見

カテゴリ	Photoswap	P2P+DreamBooth	Tie
Subject Swapping	46.8%	25.6%	27.6%
Background Preservation	40.7%	32.7%	26.6%
Overall Quality	50.8%	28.0%	21.2%

• Photoswap は合成画像と実画像の両方において、ポーズと全体的な画像一貫性を保持したままシームレスな対象置換を実現する。
• 人間評価において、Photoswap は主題置換、背景保持、全体品質の各項目で P2P+DreamBooth を上回る（例：全体品質は 50.8% 対 28.0%）。
• 自己注意出力 phi の置換はクロス注意のみよりレイアウト制御を強くし、元画像のレイアウトを維持するには早期のスワップ開始が重要である。
• クロス注意マップ A はレイアウト支援に役立つが、過度にスワップするとプロンプト情報が漏れる可能性がある；ターゲットIDの維持には psi をターゲットプロンプトから固定しておく必要がある。
• DreamBooth ベースの概念学習は有効である；Text Inversion も機能するが、顔のような複雑な対象では性能が劣る可能性がある。
• Photoswap は複数対象や遮蔽対象シナリオに対して頑健であり、 inversion を用いて実画像にも対応できる。