[논문 리뷰] Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback

N L Adarsh, Pattathal V. Arun외 1명|arXiv (Cornell University)|2024. 03. 11.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 이미지 캡션 생성을 향상시키기 위해 지도학습과 인간 피드백을 통한 강화학습(RLHF)을 융합한 하이브리드 접근법을 제안한다. Flickr8k 데이터셋을 사용하여 인간 선호도에 더 잘 부합하는 성능을 달성하기 위해 인간 피드백을 고려한 새로운 손실 함수를 최적화한다.

ABSTRACT

Research on generative models to produce human-aligned / human-preferred outputs has seen significant recent contributions. Between text and image-generative models, we narrowed our focus to text-based generative models, particularly to produce captions for images that align with human preferences. In this research, we explored a potential method to amplify the performance of the Deep Neural Network Model to generate captions that are preferred by humans. This was achieved by integrating Supervised Learning and Reinforcement Learning with Human Feedback (RLHF) using the Flickr8k dataset. Also, a novel loss function that is capable of optimizing the model based on human feedback is introduced. In this paper, we provide a concise sketch of our approach and results, hoping to contribute to the ongoing advances in the field of human-aligned generative AI models.

연구 동기 및 목표

• 모델 출력을 인간의 선호도에 맞추어 이미지 캡션 생성을 향상시키기 위해.
• 보다 나은 캡션 품질을 위해 지도학습을 인간 피드백을 통한 강화학습(RLHF)과 통합하기 위해.
• 인간 피드백 신호를 기반으로 캡션 생성을 최적화하는 새로운 손실 함수를 개발하기 위해.
• 제안된 방법의 유효성을 Flickr8k 데이터셋에서 평가하기 위해.
• 시각-언어 작업에서 인간 중심의 생성형 AI 모델의 발전에 기여하기 위해.

제안 방법

• 모델는 지도학습을 통해 Flickr8k 데이터셋의 참조 캡션을 기반으로 사전학습된다.
• 인간 피드백이 수집되어 생성된 캡션을 순위 매기며, 선호도 데이터셋이 형성된다.
• 캡션 쌍을 기반으로 인간 선호도 점수를 예측하기 위해 보상 모델이 훈련된다.
• 보상 모델을 사용하여 강화학습을 적용하여 캡션 생성 정책을 미세조정한다.
• 인간 피드백 신호를 통합하여 캡션 생성을 최적화하는 새로운 손실 함수가 도입된다.
• 최종 모델는 피드백 최적화 손실을 사용하여 정책 기반 강화학습 방법으로 엔드 투 엔드로 미세조정된다.

실험 결과

연구 질문

• RQ1 지도학습과 RLHF를 융합하면 이미지 캡션 생성 품질이 향상되는가?
• RQ2 제안된 새로운 손실 함수는 인간 선호도에 캡션을 얼마나 효과적으로 일치시키는가?
• RQ3 인간 피드백의 통합이 Flickr8k 데이터셋에서 캡션 품질 향상에 측정 가능한 기여를 하는가?
• RQ4 인간 선호도 평가에서 표준 지도학습 기반 모델과 비교해 모델 성능은 어떻게 되는가?
• RQ5 보상 모델은 선호되는 캡션으로 향하는 정책 최적화를 어떻게 안내하는가?

주요 결과

• 제안된 방법은 지도학습 기반 모델 대비 인간 선호도 일치도를 크게 향상시켰다.
• 새로운 손실 함수는 캡션 생성 과정에서 인간 피드백 신호를 효과적으로 포착하고 최적화하는 데 성공했다.
• RLHF의 통합은 더 기술적이고 논리적이며 맥락적으로 정확한 캡션을 생성하는 데 기여했다.
• 모델는 인간 선호도 데이터셋에서 더 높은 보상 점수를 기록하여 인간 판단과의 일치도가 높다는 것을 보여주었다.
• 결과적으로 인간 피드백이 시각-언어 작업에서 생성형 모델를 정교화하는 데 효과적으로 활용될 수 있음을 입증했다.
• BLEU 및 CIDEr와 같은 다양한 평가 지표에서 일致된 향상이 나타났으며, 특히 인간 선호도 점수에서 더 큰 향상이 관찰되었다.