[論文レビュー] SVDiff: Compact Parameter Space for Diffusion Fine-Tuning

Ligong Han, Yinxiao Li+4 more|arXiv (Cornell University)|Mar 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

SVDiff は重み行列の特異値を更新することにより拡散モデルを調整し、完全微調整と同等かそれ以上の性能を発揮するコンパクトなパラメータ空間を作り出し、複数被写体の生成と単一画像編集の堅牢性を可能にします。さらに、 Cut-Mix-Unmix データ拡張を導入し、複数の個人化概念間の解立を改善します。

ABSTRACT

Diffusion models have achieved remarkable success in text-to-image generation, enabling the creation of high-quality images from text prompts or other modalities. However, existing methods for customizing these models are limited by handling multiple personalized subjects and the risk of overfitting. Moreover, their large number of parameters is inefficient for model storage. In this paper, we propose a novel approach to address these limitations in existing text-to-image diffusion models for personalization. Our method involves fine-tuning the singular values of the weight matrices, leading to a compact and efficient parameter space that reduces the risk of overfitting and language drifting. We also propose a Cut-Mix-Unmix data-augmentation technique to enhance the quality of multi-subject image generation and a simple text-based image editing framework. Our proposed SVDiff method has a significantly smaller model size compared to existing methods (approximately 2,200 times fewer parameters compared with vanilla DreamBooth), making it more practical for real-world applications.

研究の動機と目的

• テキストtoイメージ拡散モデルの効率的なパーソナライズを動機づける。
• 重み行列の特異値を微調整することでコンパクトなパラメータ空間を提案する（スペクトルシフト）。
• 複数の個人化概念の学習を改善するデータ拡張（Cut-Mix-Unmix）を導入する。
• スペクトルシフトを活用した単一画像編集フレームワーク（CoSINE）を提示し、スペクトルシフトを活用して編集を実現する。
• フル微調整よりはるかに小さいパラメータ数で高いパフォーマンスを示すことを実証する。

提案手法

• 事前学習済み拡散モデルの重み行列に対してSVDを計算し、UとVを保持し、対角成分 Sigma_delta のスペクトルシフト delta のみを学習する。
• 重み行列を W_delta = U Diag(ReLU(sigma + delta)) V^T と更新する。
• prior data が利用可能な場合、更新を正則化する重み付き事前保存(loss) を lambda で変化させて訓練する。
• independently learned spectral shifts を足し合わせるか補間して新しいモデルを形成し、スタイル転送とマルチサブジェクト生成を可能にする。
• Cut-Mix-Unmix データ拡張を適用して、複数の概念をモデルに対して分離させる訓練を明示的に行う。
• スペクトルシフトを使った編集を行いつつ、適切な場合には DDIM inversion を用いて整合性を改善する単一画像編集フレームワーク CoSINE を提供する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなスペクトルシフトパラメータ空間は単一被写体の拡散パーソナライズにおいてフル微調整に匹敵するか。
• RQ2 スペクトルシフト微調整はマルチサブジェクト生成を堅牢にし言語ドリフトを低減できるか。
• RQ3 Cut-Mix-Unmix augmentation は複数の概念を学習する際の解離を改善できるか。
• RQ4 スペクトルシフトを用いたテキストベースの編集パイプライン（CoSINE）は、信頼性のある単一画像の編集を実現できるか。
• RQ5 スペクトルシフト微調整はパフォーマンスとストレージの観点で LoRA と比較してどうか。

主な発見

Subset	Storage (KB)	Notes
UNet (all UNet layers)	1404	Full UNet fine-tuning subset
UNet-CA (Cross-Attn)	194	Cross-attn layers in UNet
UNet-CA-KV (K/V in Cross-Attn)	84.8	W^K and W^V in Cross-Attn
UNet-1D (1-D weights)	430	All 1-D weights in UNet
UNet-2D (2-D weights)	617	All 2-D weights in UNet
UNet-4D (4-D weights)	355	All 4-D weights in UNet
Up-Blocks	789	Up-blocks in UNet
Down-Blocks	469	Down-blocks in UNet
Mid-Block	135	Mid-blocks in UNet
Up-CA	106	Cross-Attn in up-blocks
Down-CA	70.4	Cross-Attn in down-blocks
Mid-CA	17.7	Cross-Attn in mid-block

• SVDiff は vanilla DreamBooth に比べて約 2,200 倍少ないパラメータで、単一被写体生成において同等の結果を達成する。
• Cut-Mix-Unmix augmentation は似た概念間のスタイル混合を減らすことでマルチサブジェクト生成を改善する。
• スペクトルシフト微調整はマルチサブジェクトの状況で完全な重み微調整よりも被写体アイデンティティをよく保持することが多い。
• このアプローチは DDIM inversion を用いて多くのケースで言語ドリフトを緩和し、編集を保持する単純なテキストベースの画像編集フレームワーク（CoSINE）を可能にする。
• LoRA と比較して、SVDiff はより小さな delta チェックポイントと、忠実度と現実感のバランスにおいて、特定の設定でランク1のストレージ利得を提供する。
• Table 1 は UNet パラメータの微調整サブセットのストレージを 17.7 KB から 1,404 KB に示し、スペクトルシフトアプローチのコンパクトさを示している。