[논문 리뷰] FABRIC: Personalizing Diffusion Models with Iterative Feedback

Dimitri von Rütte, Elisabetta Fedele외 2명|arXiv (Cornell University)|2023. 07. 19.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

FABRIC는 훈련을 필요로 하지 않는 방법으로, 참조 이미지에 대한 주의 기반 조건부 처리를 통해 반복적으로 사용자 피드백을 통합함으로써 텍스트-이미지 확산 모델의 성능을 햖थ한다. 여러 피드백 라운드를 거쳐 훈련되지 않은 모델들조차도 HPS LoRA와 같은 미세조정된 모델을 능가하는 성능을 발휘하며, 사용자 선호도에 더 잘 부합하는 고급 질의 생성을 가능하게 한다.

ABSTRACT

In an era where visual content generation is increasingly driven by machine learning, the integration of human feedback into generative models presents significant opportunities for enhancing user experience and output quality. This study explores strategies for incorporating iterative human feedback into the generative process of diffusion-based text-to-image models. We propose FABRIC, a training-free approach applicable to a wide range of popular diffusion models, which exploits the self-attention layer present in the most widely used architectures to condition the diffusion process on a set of feedback images. To ensure a rigorous assessment of our approach, we introduce a comprehensive evaluation methodology, offering a robust mechanism to quantify the performance of generative visual models that integrate human feedback. We show that generation results improve over multiple rounds of iterative feedback through exhaustive analysis, implicitly optimizing arbitrary user preferences. The potential applications of these findings extend to fields such as personalized content creation and customization.

연구 동기 및 목표

• 프롬프트 엔지니어링을 초월해 텍스트-이미지 확산 모델을 개인화하는 데 도전하는 것.
• 모델의 미세조정 없이도 사용자 제어력과 출력 품질을 향상시키는 방법을 개발하는 것.
• 다수의 피드백 라운드 동안의 성능 향상을 측정하기 위한 견고한 평가 프레임워크를 수립하는 것.
• 피드백 기반 생성에서 탐색과 이용 간의 트레이드오프를 탐색하는 것.
• 기존의 확산 모델 확장 기법(예: LoRA 및 체크포인트)과 수직적으로 통합할 수 있도록 하는 것.

제안 방법

• FABRIC는 이전 생성 결과에서 유저가 제공한 긍정적 및 부정적 피드백 이미지를 기반으로 주의 기반 참조 이미지 조건부 처리를 사용하여 확산 프로세스를 유도한다.
• 확산 모델의 자체 주의 메커니즘을 수정하여 피드백 이미지에 주의를 기울임으로써 사용자 선호도에 따라 생성을 조절한다.
• 모델 재훈련 없이 작동하므로 다양한 사전 훈련된 확산 모델과 호환된다.
• 피드백은 반복적으로 수집되며, 사용자가 선호하는 또는 싫어하는 출력을 선택하여 후속 생성을 이끌어낸다.
• 자동 평가 프로토콜과 외부 이미지 코퍼스 통합을 통해 피드백 검색을 지원한다.
• 피드백 파라미터에 대한 베이지안 최적화를 통해 생성 결과를 더욱 정교하게 개선할 수 있다.

Figure 2: Illustration of the proposed approach. FABRIC improves generated results by incorporating user feedback through an attention-based conditioning mechanism.

실험 결과

연구 질문

• RQ1 재훈련 없이도 반복적 인간 피드백이 확산 모델의 텍스트-이미지 생성 품질과 선호도 일치도를 향상시킬 수 있는가?
• RQ2 주의 메커니즘을 통한 피드백 기반 조건부 처리가 생성된 이미지의 다양성과 분포에 어떤 영향을 미치는가?
• RQ3 FABRIC가 인간 선호도 기반 생성에서 HPS LoRA와 같은 미세조정된 모델을 얼마나 뛰어넘을 수 있는가?
• RQ4 피드백 기반 이미지 생성에서 탐색과 이용 간의 트레이드오프는 어떠한가?
• RQ5 기존의 확산 모델 확장 기법(예: LoRA 또는 체크포인트)과 피드백을 효과적으로 통합할 수 있는가?

주요 결과

• FABRIC는 훈련이나 하이퍼파라미터 튜닝 없이도 여러 피드백 라운드를 거쳐 이미지 생성 품질과 사용자 선호도 일치도를 크게 향상시킨다.
• 사용자 선호도를 위해 특별히 미세조정된 HPS LoRA 모델보다도 관련 평가 지표에서 FABRIC가 뛰어난 성능을 보였다.
• 피드백을 통해 유저의 임의의 목표(예: 목표 이미지와의 유사도 또는 특정 스타일 선호도)가 암묵적으로 최적화된다.
• 성능 향상에도 불구하고 FABRIC는 피드백 이미지 근처의 단일 모드로 생성 분포가 수축하는 경향이 있어, 이용과 다양성 간의 트레이드오프를 보여준다.
• 이 방법은 기존의 LoRA나 체크포인트와 수직적으로 통합 가능하므로, 이들과 함께 사용할 경우 추가적인 성능 향상을 이끌 수 있다.
• 다양성 붕괴를 완화하기 위해 프롬프트 드롭아웃을 탐색했지만, 이는 프롬프트의 의미적 내용을 변경시킬 위험이 있다.

(a) Highest PickScore of a generated image over all previous rounds.