[论文解读] Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback

N L Adarsh, Pattathal V. Arun+1 more|arXiv (Cornell University)|Mar 11, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出一种结合监督学习与人类反馈强化学习（RLHF）的混合方法，以提升图像字幕生成质量，使用Flickr8k数据集。该方法引入一种新颖的损失函数，通过人类反馈进行优化，在人类偏好对齐方面优于基线模型。

ABSTRACT

Research on generative models to produce human-aligned / human-preferred outputs has seen significant recent contributions. Between text and image-generative models, we narrowed our focus to text-based generative models, particularly to produce captions for images that align with human preferences. In this research, we explored a potential method to amplify the performance of the Deep Neural Network Model to generate captions that are preferred by humans. This was achieved by integrating Supervised Learning and Reinforcement Learning with Human Feedback (RLHF) using the Flickr8k dataset. Also, a novel loss function that is capable of optimizing the model based on human feedback is introduced. In this paper, we provide a concise sketch of our approach and results, hoping to contribute to the ongoing advances in the field of human-aligned generative AI models.

研究动机与目标

• 通过使模型输出与人类偏好对齐，提升图像字幕生成质量。
• 整合监督学习与基于人类反馈的强化学习（RLHF），以提升字幕质量。
• 开发一种新颖的损失函数，基于人类反馈信号优化字幕生成。
• 在Flickr8k数据集上评估所提方法的有效性。
• 推动视觉-语言任务中人类对齐生成式AI模型的发展。

提出的方法

• 使用Flickr8k数据集中的真实字幕，通过监督学习对模型进行预训练。
• 收集人类反馈以对生成的字幕进行排序，形成偏好数据集。
• 训练一个奖励模型，基于字幕对预测人类偏好得分。
• 利用奖励模型应用强化学习，微调字幕生成策略。
• 引入一种新颖的损失函数，整合人类反馈信号以优化字幕生成。
• 使用基于反馈优化的损失函数，通过策略梯度方法端到端微调最终模型。

实验结果

研究问题

• RQ1 将监督学习与RLHF结合是否能提升图像字幕生成质量？
• RQ2 所提出的新型损失函数在使字幕与人类偏好对齐方面有多有效？
• RQ3 人类反馈的整合是否在Flickr8k数据集上带来可测量的字幕质量提升？
• RQ4 在人类偏好评估中，该模型的性能与标准监督基线相比如何？
• RQ5 奖励模型在引导策略优化以生成更受青睐的字幕方面发挥什么作用？

主要发现

• 与监督基线相比，所提方法在人类偏好对齐方面有显著提升。
• 新型损失函数有效捕捉并优化了字幕生成中的人类反馈信号。
• RLHF的整合使生成的字幕更具描述性、连贯性以及上下文准确性。
• 模型在人类偏好数据集上获得更高的奖励分数，表明其与人类判断更一致。
• 结果表明，人类反馈可被有效利用以优化视觉-语言任务中的生成模型。
• 该方法在多个评估指标上表现出一致改进，包括BLEU和CIDEr，且在人类偏好得分上的提升尤为显著。