[論文レビュー] FABRIC: Personalizing Diffusion Models with Iterative Feedback

Dimitri von Rütte, Elisabetta Fedele+2 more|arXiv (Cornell University)|Jul 19, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

FABRICは、参照画像に基づくアテンションによる条件付けを繰り返し行うことで、トレーニングを伴わない方法でテキスト-to-画像拡散モデルの品質を向上させる。複数のフィードバックラウンドにわたり、生成品質とユーザーの好みの整合性が向上し、微調整されたモデル（例: HPS LoRA）でさえも再トレーニングなしで上回る。

ABSTRACT

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.

研究の動機と目的

• プロンプト工学を超えたテキスト-to-画像拡散モデルのパーソナライゼーションの課題に取り組むこと。
• モデルの微調整を必要とせず、ユーザーのコントロールと出力品質を向上させる手法を開発すること。
• 複数のフィードバックラウンドにわたるパフォーマンス向上を測定する包括的な評価フレームワークを確立すること。
• フィードバック駆動生成における探索と活用のトレードオフを明らかにすること。
• 既存の拡散モデル拡張（例: LoRA やチェックポイント）との直交的統合を可能にすること。

提案手法

• FABRICは、前回生成された出力からのポジティブおよびネガティブなフィードバック画像を用いて、アテンションベースの参照画像条件付けを実行することで、拡散プロセスを制御する。
• 拡散モデルの自己アテンションメカニズムを変更し、フィードバック画像に注目させることで、ユーザーの好みに基づいた生成を実現する。
• モデルの再トレーニングが不要であるため、幅広い事前学習済み拡散モデルと互換性を持つ。
• フィードバックは反復的に収集され、ユーザーが好みの出力や不満のあった出力を選択することで、次の生成をガイドする。
• 自動評価プロトコルと外部画像コーパスとの統合を介したフィードバックの取得をサポートする。
• 生成結果のさらなる最適化を図るため、フィードバックパラメータのベイズ最適化を可能にする。

Figure 2: Illustration of the proposed approach. FABRIC improves generated results by incorporating user feedback through an attention-based conditioning mechanism.

実験結果

リサーチクエスチョン

• RQ1 トレーニングなしで、反復的フィードバックがテキスト-to-画像生成の品質と整合性を向上させられるか？
• RQ2 アテンションメカニズムを介したフィードバック条件付けが、生成画像の多様性と分布に与える影響は何か？
• RQ3 FABRICは、人間の好みに最適化されたHPS LoRAのような微調整済みモデルをどの程度上回れるか？
• RQ4 フィードバック駆動画像生成における探索と活用のトレードオフはどのようなものか？
• RQ5 既存の拡散モデル拡張（例: LoRA やチェックポイント）とフィードバックを効果的に統合する方法は何か？

主な発見

• FABRICは、トレーニングやハイパーパramータチューニングなしで、複数のフィードバックラウンドにわたり画像生成品質とユーザーの好みの整合性を顕著に向上させる。
• HPS LoRA（人間の好みに最適化されたモデル）よりも、関連評価指標において優れたパフォーマンスを示す。
• フィードバックにより、特定のターゲット画像との類似性や特定のスタイルの好ましさといった、任意のユーザーの目的が暗黙的に最適化される。
• 改善が見られる一方で、FABRICは生成分布をフィードバック画像の近くの単一モードに収縮させる傾向があり、活用と多様性のトレードオフが顕在化している。
• 本手法は、LoRA やチェックポイントなどの既存手法と直交的であり、それらと組み合わせることで追加的な改善が可能である。
• 多様性の崩壊を緩和するためのプロンプトドロップが検討されたが、プロンプトの意味的コンテンツを変更するリスクを伴う。

(a) Highest PickScore of a generated image over all previous rounds.