[논문 리뷰] Aligning Text-to-Image Models using Human Feedback

Kimin Lee, Hao Liu외 7명|arXiv (Cornell University)|2023. 02. 23.

Advanced Image and Video Retrieval Techniques인용 수 35

한 줄 요약

본 논문은 인간 피드백을 수집하고, 이 피드백으로 보상 함수를 학습한 다음 보상 가중 우도를 통해 모델을 미세조정하여 텍스트-이미지 정렬을 개선하는 세 단계 파이프라인을 제안한다.

ABSTRACT

Deep generative models have shown impressive results in text-to-image synthesis. However, current text-to-image models often generate images that are inadequately aligned with text prompts. We propose a fine-tuning method for aligning such models using human feedback, comprising three stages. First, we collect human feedback assessing model output alignment from a set of diverse text prompts. We then use the human-labeled image-text dataset to train a reward function that predicts human feedback. Lastly, the text-to-image model is fine-tuned by maximizing reward-weighted likelihood to improve image-text alignment. Our method generates objects with specified colors, counts and backgrounds more accurately than the pre-trained model. We also analyze several design choices and find that careful investigations on such design choices are important in balancing the alignment-fidelity tradeoffs. Our results demonstrate the potential for learning from human feedback to significantly improve text-to-image models.

연구 동기 및 목표

• 텍스트 프롬프트와 생성된 이미지 간의 미정합을 텍스트-이미지 모델에서 동기화하고 정량화한다.
• 인간 피드백에서 정합성과 인간 의도와의 정합성을 포착하는 보상 함수를 학습하는 비용 효율적인 방법을 개발한다.
• 보상 가중 목표를 사용하여 확산 기반 이미지 생성기를 미세조정하여 프롬프트 충실도와 구성을 개선한다.
• 정합성과 이미지 충실도 간의 트레이드오프를 평가하고 데이터 다양성 및 보조 손실의 설계 선택을 분석한다.

제안 방법

• 정렬 강화를 위한 프롬프트(색상, 개수, 배경)를 사용해 정합성을 스트레스 테스트하는 다양한 이미지를 생성한다.
• 이미지-텍스트 쌍에 대한 정합성에 관한 이진 인간 피드백을 수집한다.
• CLIP 임베딩을 사용해 인간 판단을 예측하는 보상 모델 r_phi(x,z) 을 훈련하고 일반화를 개선하기 위한 보조 프롬프트 분류 손실을 도입한다.
• 정규화를 위한 사전 학습 데이터와 모델 데이터를 결합한 보상 가중 로그가능도 objective 를 최소화하여 텍스트-이미지 모델을 미세조정한다.
• 학습된 보상을 바탕으로 상위 출력을 선택하기 위해 거절 샘플링을 옵션으로 활용한다.
• 인간 판단 및 표준 지표(FID)로 평가하여 정합성과 충실도, 보이지 않는 프롬프트에 대한 일반화를 연구한다.

실험 결과

연구 질문

• RQ1 인간 피드백이 확산 기반 텍스트-이미지 모델에서 이미지-텍스트 정합성 향상을 위한 미세조정을 효과적으로 이끌 수 있는가?
• RQ2 인간 판단으로 학습된 보상 모델이 정합성에 대한 CLIP 기반 척도보다 인간 선호도와 더 높은 상관성을 보이는가?
• RQ3 보조 손실 및 데이터 다양성 전략이 보상 학습과 보이지 않는 프롬프트에 대한 일반화를 개선하는가?
• RQ4 보상 가중 미세조정이 이미지 충실도에 어떤 영향을 미치는가, 또한 거절 샘플링이 정합성 향상을 증대시키는가?

주요 결과

Category	Total # of images	Good	Bad	Skip
Count	6480	34.4	61.0	4.6
Color	3480	70.4	20.8	8.8
Background	2400	66.9	33.1	0.0
Combination	15168	35.8	59.9	4.3

• 인간 피드백으로의 미세조정이 원 모델 대비 이미지-텍스트 정합성을 크게 향상시키며, 인간 평가에서 최대 47%의 정합성 개선을 달성했다.
• 학습된 보상 함수가 테스트된 프롬프트에서 CLIP 점수보다 인간 평가와의 정합성이 더 잘 일치한다.
• 보조 프롬프트 분류 손실 및 데이터 다양성 전략이 보상의 일반화를 향상시켜 보이지 않는 프롬프트 및 객체에 대한 정합성을 개선한다.
• 학습된 보상에 기반한 거절 샘플링은 추가 모델 학습 없이도 정합성을 더 개선하지만 추론 비용을 증가시킨다.
• 다양한 데이터 없이의 naive 미세조정은 정합도는 높아져도 이미지 충실도 감소를 초래할 수 있어 정합성-충실도 간의 트레이드오프를 강조한다.