[論文レビュー] SingleInsert: Inserting New Concepts from a Single Image into Text-to-Image Models for Flexible Editing

Zijie Wu, Chaohui Yu+3 more|arXiv (Cornell University)|Oct 12, 2023

Video Analysis and Summarization被引用数 4

ひとこと要約

SingleInsertは、高視覚的忠実度と柔軟な編集を実現する二段階手法を提案する。前景認識の逆問題、背景の分離、および言語のずれを防ぐための意味的損失を用いることで、共同学習を伴わずに、正確な概念編集、新規ビュー合成、マルチコンセプト構成が可能になる。

ABSTRACT

Recent progress in text-to-image (T2I) models enables high-quality image generation with flexible textual control. To utilize the abundant visual priors in the off-the-shelf T2I models, a series of methods try to invert an image to proper embedding that aligns with the semantic space of the T2I model. However, these image-to-text (I2T) inversion methods typically need multiple source images containing the same concept or struggle with the imbalance between editing flexibility and visual fidelity. In this work, we point out that the critical problem lies in the foreground-background entanglement when learning an intended concept, and propose a simple and effective baseline for single-image I2T inversion, named SingleInsert. SingleInsert adopts a two-stage scheme. In the first stage, we regulate the learned embedding to concentrate on the foreground area without being associated with the irrelevant background. In the second stage, we finetune the T2I model for better visual resemblance and devise a semantic loss to prevent the language drift problem. With the proposed techniques, SingleInsert excels in single concept generation with high visual fidelity while allowing flexible editing. Additionally, SingleInsert can perform single-image novel view synthesis and multiple concepts composition without requiring joint training. To facilitate evaluation, we design an editing prompt list and introduce a metric named Editing Success Rate (ESR) for quantitative assessment of editing flexibility. Our project page is: https://jarrentwu1031.github.io/SingleInsert-web/

研究の動機と目的

• 事前学習済みテキストto画像モデルに単一画像から新しい概念を挿入する際の過学習と編集性の低さという課題に対処すること。
• 埋め込み学習における前景・背景の混合が編集の柔軟性と視覚的忠実度を低下させることを克服すること。
• 微調整中に言語のずれが生じるのを防ぐこと。これは、クラス埋め込みがソース画像にシフトすることで一般化能力が低下するため。
• 共同学習を伴わずに、独立して学習された埋め込みから新規ビュー合成とマルチコンセプト構成を可能にすること。
• 編集の柔軟性を評価するための定量的評価フレームワークを提供すること。編集プロンプトリストと新しい指標である編集成功率（ESR）を用いる。

提案手法

• 事前学習済みモデル（GroundingDINO および SAM）を用いて得た前景マスク内に制限して、単一のソース画像をテキスト埋め込みに逆問題化するための画像エンコーダを使用する。
• 前景損失を導入し、最適化を前景領域に限定することで、埋め込みが意図した概念のみを捉えるようにする。
• 背景損失を適用して、学習済み埋め込みが背景のノイズ除去プロセスに与える影響を最小限に抑え、概念と背景を分離する。
• 微調整中に意味的損失を実装し、元のクラス埋め込みの影響が維持されるようにすることで、言語のずれを防ぐ。
• 二段階訓練方式を採用する。第一段階では、前景損失と背景損失を用いて画像を逆問題化する。第二段階では、視覚的忠実度を向上させるために意味的損失を用いてT2Iモデルを微調整する。
• T2Iモデルに事前学習済みの視覚的事前知識を活用し、再学習なしに妥当な新規ビューを生成し、複数の概念を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 単一画像の概念挿入手法は、どのように高視覚的忠実度を実現しながらも柔軟な編集能力を維持できるか？
• RQ2 埋め込み学習における前景・背景の混合の原因は何か。また、どのようにしてこれを緩和できるか？
• RQ3 微調整中に言語のずれが生じるのを防ぐにはどうすればよいか。これにより、クラス事前知識と編集の柔軟性が保たれるか？
• RQ4 共同学習を伴わずに、1つの学習済み概念を用いて新規ビュー合成とマルチコンセプト構成が可能か？
• RQ5 概念挿入手法の編集の柔軟性を効果的に評価するための定量的指標は何か？

主な発見

• SingleInsertは、背景損失を専用に用いることで、学習済み概念を背景から分離することで、高視覚的忠実度と強い編集の柔軟性を達成する。
• 意味的損失は言語のずれを効果的に防止し、元のクラス埋め込みの影響を維持することで、微調整中でも編集の柔軟性が保たれる。
• 本手法により、単一画像からの新規ビュー合成が可能となり、T2Iモデルの内部事前知識を活用して妥当な新規ビューが生成される。
• 複数の概念（例：顔、髪、服）が共同学習なしに組み合わせられ、独立して学習された埋め込み間での構成的一般化が示された。
• 編集成功率（ESR）という新しい指標に加え、編集プロンプトのキュレーションリストを用いることで、編集の柔軟性を信頼性高く定量評価できるようになった。
• アブレーションスタディにより、前景損失、背景損失、意味的損失の3つすべてが、忠実度と編集の柔軟性の最適なバランスを達成するために不可欠であることが確認された。