[論文レビュー] ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

Viraj Shah, Nataniel Ruiz+5 more|ArXiv.org|Nov 22, 2023

Video Analysis and Summarization被引用数 5

ひとこと要約

ZipLoRAは、微分可能モデルにおける独立して訓練された被写体およびスタイルLoRAを破壊的でない方法で統合する、ハイパーパrameterフリーの最適化ベースの手法を提案する。これにより、任意の被写体を任意のスタイルで生成でき、優れた忠実度が得られる。重み行列のスパarsityと列方向のアライメントを活用することで、破壊的な統合を回避し、手動のチューニングを要せず、被写体およびスタイルの忠実度において最先端の性能を達成する。

ABSTRACT

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io

研究の動機と目的

• 微分可能モデルを用いて、ユーザーが指定した任意の被写体を、ユーザーが指定した任意のスタイルで生成するという未解決問題に取り組む。
• 従来のLoRA統合手法には、被写体またはスタイルの忠実度が損なわれやすく、多数のハイパーパrameterチューニングを要するという制限があるため、それを克服する。
• 訓練手法に制限を設けずに、独立して訓練された被写体およびスタイルLoRAを強固かつ一貫して統合できるようにする。
• 統合後も、両方のLoRAが個別に生成可能な能力を保持し、Mixture-of-Expertsとして利用可能であるようにする。
• 動的かつ柔軟な被写体・スタイルの組み合わせを必要とするクリエイティブな応用に適した、軽量でスケーラブルなソリューションを提供する。

提案手法

• ZipLoRAは、各列のLoRA重み行列に対するマージ係数を最適化ベースで計算する。直接の和算を避けることで、高いアライメントを持つ列の破壊的干渉を回避する。
• コサイン類似度に基づいて、被写体およびスタイルLoRA間の列の集合を不重複に特定し、破壊的干渉を最小限に抑える。
• LoRA重み行列のスパarsity（多くの要素が微小な大きさを有する）を活用し、意味のあるパラメータ更新に最適化を集中させる。
• 最適化プロセスは軽量かつハイパーパrameterフリーであり、多様な被写体・スタイルの組み合わせにおいて一貫したパフォーマンスを発揮する。
• 統合されたLoRAは、新しいプロンプトに応じて被写体を再文脈化できる能力を保持し、スタイリングの質を維持する。
• オプションのスカラーマルティプライヤーにより、再トレーニングなしにスタイリングの強度を調整可能である。

Figure 2 : LoRA weight matrices are sparse. Most of the elements in $\Delta W$ have a magnitude very close to zero, and can be conveniently thrown away without affecting the generation quality of the fine-tuned model.

実験結果

リサーチクエスチョン

• RQ1 独立して訓練された被写体およびスタイルLoRAを、被写体またはスタイルの忠実度を損なわず、効果的に統合できるか？
• RQ2 ハイパーパrameterフリーな手法が、多様な被写体・スタイルの組み合わせにおいて一貫して高品質な統合を達成できるか？
• RQ3 最適化ベースの統合戦略は、コンテンツとスタイルの両方を保存する点で、直接線形結合を上回るか？
• RQ4 統合されたLoRAは、元のLoRAの個別生成能力を保持できるか？
• RQ5 単一のスカラーパrameterによる調整により、スムーズかつ制御可能なスタイリングが可能になるか？

主な発見

• ユーザーの好みに関する研究において、ZipLoRAはすべての3つの比較ケースで、直接統合や共同学習を上回る高い承認率を達成した。
• 定量的指標では、ZipLoRAは直接統合より顕著に優れた被写体アライメントスコアを達成し、競争力のあるスタイリングアライメントスコアを示しており、優れた被写体忠実度を示している。
• ZipLoRAは強力なテキストアライメントスコアを維持しており、ベースモデルのプロンプト従順性を保ちつつ、スタイリングおよび被写体表現の質を向上させている。
• ZipLoRAは、元の被写体およびスタイルを個別に生成できる能力を成功裏に保持しており、直接統合ではその能力を失うのとは対照的である。
• 最適化ベースのアプローチにより、再トレーニングなしに単一のスカラーパrameterによるスムーズなスタイリング制御が可能になった。ユーザーは0〜1の範囲でスタイリング強度を自由に変更できる。
• SDXLを用いた実験では、ZipLoRAが広範な被写体・スタイルの組み合わせにおいて、高品質で一般化可能なカスタマイズを実現できることを示した。

Figure 3 : Highly aligned LoRA weights merge poorly. When LoRA weight columns are highly aligned, a direct merge obtains subpar results. Instead, our approach minimizes the mean cosine similarity between the columns of the LoRA updates across the layers.