[論文レビュー] PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models

Li Chen, Mengyi Zhao+9 more|arXiv (Cornell University)|Sep 11, 2023

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

PhotoVerseは、単一の参照画像を使用してチューニング不要のパーソナライズされたテキストto画像生成を実現します。デュアルブランチのテキストおよび視覚条件付けと、編集を可能にしつつアイデンティティを保持する顔の識別性損失を用いることで、テスト時のチューニングなしで迅速な生成を実現し、さまざまなシーンとスタイルをサポートします。

ABSTRACT

Personalized text-to-image generation has emerged as a powerful and sought-after tool, empowering users to create customized images based on their specific concepts and prompts. However, existing approaches to personalization encounter multiple challenges, including long tuning times, large storage requirements, the necessity for multiple input images per identity, and limitations in preserving identity and editability. To address these obstacles, we present PhotoVerse, an innovative methodology that incorporates a dual-branch conditioning mechanism in both text and image domains, providing effective control over the image generation process. Furthermore, we introduce facial identity loss as a novel component to enhance the preservation of identity during training. Remarkably, our proposed PhotoVerse eliminates the need for test time tuning and relies solely on a single facial photo of the target identity, significantly reducing the resource cost associated with image generation. After a single training phase, our approach enables generating high-quality images within only a few seconds. Moreover, our method can produce diverse images that encompass various scenes and styles. The extensive evaluation demonstrates the superior performance of our approach, which achieves the dual objectives of preserving identity and facilitating editability. Project page: https://photoverse2d.github.io/

研究の動機と目的

• 単一の参照画像でT2Iモデルのパーソナライズをより速く、チューニング不要にする。
• アイデンティティを保持しつつ、柔軟な編集とスタイルの変動を可能にする。
• 従来手法と比較してリソースコストとテスト時のチューニング要件を削減する。

提案手法

• 概念をテキスト領域と画像領域のデュアルブランチ条件付け機構を用いてStable Diffusionベースのモデルに注入する。
• 参照画像の特徴を疑似語と画像トークンにマッピングするために、軽量なアダプター型アーキテクチャ（LoRAによるテキストアダプターとビジュアルアダプター）を使用する。
• PEFT（LoRA）でクロスアテンションの重みだけを微調整し、他の部分は凍結されたままにする。
• 顔のアイデンティティ損失を導入し、顔特徴のコサイン類似度最適化（ArcFace）を通じてアイデンティティ保持を強制する。
• ハイパーパラメータ（gamma, sigma）で制御されるランダムフュージョン戦略を用いて、テキストと視覚条件付けをクロスアテンションで融合する。
• テキストと視覚の埋め込みの両方に正則化をかけ、スパース性と一般化を促進する。

実験結果

リサーチクエスチョン

• RQ1 単一の参照画像を用いた瞬時でチューニング不要なパーソナライズされたテキストから画像生成をいかに実現できるか？
• RQ2 デュアルブランチ条件付け（テキストと画像）は、単一ブランチや最適化ベースの手法に比べてアイデンティティ保持と編集性を改善するか？
• RQ3 顔のアイデンティティ損失と正則化がアイデンティティ保持と一般化に与える影響はどの程度か？
• RQ4 提案手法はDreamBooth、Textual Inversion、E4T、ProFusionと比較して、速度・データ要件・出力品質の面でどう差があるか？

主な発見

方法	黒	茶色	白	黄	全体
視覚条件付けブランチなし	0.561	0.563	0.584	0.556	0.556
L^S_regなし	0.566	0.573	0.589	0.550	0.569
L^faceなし	0.632	0.658	0.663	0.622	0.643
L^T_regなし	0.650	0.668	0.678	0.657	0.663
PhotoVerse	0.685	0.702	0.715	0.682	0.696

• PhotoVerseはテスト時のチューニング不要なパーソナライズを実現し、単一の参照写真を用いて数秒で高品質な画像を生成する。
• デュアルブランチ条件付けは、テキスト埋め込みと視覚特徴の両方を活用することでアイデンティティ保持と編集性を向上させる。
• 顔のアイデンティティ損失はアイデンティティ保持に寄与し、アブレーションでアイデンティティ指標を約0.05向上させる。
• アブレーションにより視覚条件付けブランチがアイデンティティ類似度に大きく影響することが示され、視覚ブランチを除くと0.696から低下する例がある。
• 定性的な結果は、DreamBooth、Textual Inversion、E4T、ProFusionなどのベースラインと比較して、髪型や顔の特徴の保持がよりシャープで詳細な出力を示す。
• 定量的には、本手法は評価対象の人種間で平均アイデンティティ類似度0.696を達成し、Brown/Whiteでは時に0.70を超える。