[论文解读] MM-PhyRLHF: Reinforcement Learning Framework for Multimodal Physics Question-Answering

Janak Kapuriya, Chhavi Kirtani+8 more|arXiv (Cornell University)|Apr 19, 2024

Topic Modeling被引用 4

一句话总结

该论文提出MM-PhyRLHF，一种整合图像字幕生成与基于人类反馈的强化学习（RLHF）的强化学习框架，用于提升基于LLaVA模型的多模态物理问答性能。通过利用详细图像字幕增强视觉理解，并通过基于人类偏好的奖励建模优化推理过程，该方法在MM-PhyQA数据集上将准确率提升至83.28%，显著优于仅采用监督微调的方法。

ABSTRACT

Recent advancements in LLMs have shown their significant potential in tasks like text summarization and generation. Yet, they often encounter difficulty while solving complex physics problems that require arithmetic calculation and a good understanding of concepts. Moreover, many physics problems include images that contain important details required to understand the problem's context. We propose an LMM-based chatbot to answer multimodal physics MCQs. For domain adaptation, we utilize the MM-PhyQA dataset comprising Indian high school-level multimodal physics problems. To improve the LMM's performance, we experiment with two techniques, RLHF (Reinforcement Learning from Human Feedback) and Image Captioning. In image captioning, we add a detailed explanation of the diagram in each image, minimizing hallucinations and image processing errors. We further explore the integration of Reinforcement Learning from Human Feedback (RLHF) methodology inspired by the ranking approach in RLHF to enhance the human-like problem-solving abilities of the models. The RLHF approach incorporates human feedback into the learning process of LLMs, improving the model's problem-solving skills, truthfulness, and reasoning capabilities, minimizing the hallucinations in the answers, and improving the quality instead of using vanilla-supervised fine-tuned models. We employ the LLaVA open-source model to answer multimodal physics MCQs and compare the performance with and without using RLHF.

研究动机与目标

• 解决大型语言模型在处理需要算术推理与视觉理解的复杂多模态物理问题时的局限性。
• 通过为图像添加详细字幕，减少幻觉现象并提升多模态物理问答中的事实一致性。
• 通过基于人类反馈的强化学习（RLHF）提升推理与响应质量，使模型输出更符合人类偏好。
• 评估图像字幕与RLHF在印度高中水平物理选择题中的综合影响。
• 开发一个针对物理教育量身定制的稳健、开源教育型AI系统，利用多模态大语言模型实现。

提出的方法

• 使用经由Infi-MM字幕模型生成的详细图像字幕增强的修改版MM-PhyQA数据集，对LLaVA-1.5模型进行微调。
• 采用监督微调（SFT）方法，测试三种输入组合：文本+图像、文本+字幕，以及文本+图像+字幕。
• 基于人类对响应质量的排序构建偏好数据集，将重点放在推理连贯性与提示遵循度上，实施RLHF。
• 训练一个奖励模型（RM），根据人类偏好排序预测响应质量，并通过近端策略优化（PPO）指导策略优化。
• 采用LoRA（低秩适应）实现高效微调，测试多种LoRA秩与模型尺寸（7B、13B），以平衡速度与性能。
• 结合多图像思维链提示与RLHF及字幕生成，提升物理问题求解中的逐步推理能力。

Figure 1. Preference dataset Pipeline

实验结果

研究问题

• RQ1 在多模态物理数据集中添加详细图像字幕后，对大型语言模型在推理与准确率方面的影响如何？
• RQ2 整合RLHF在多大程度上提升了大型语言模型在物理问答中生成答案的事实一致性、推理质量与真实性？
• RQ3 图像字幕与RLHF在提升多模态物理问答准确率方面各自贡献如何？
• RQ4 不同尺寸的LLaVA模型与LoRA配置如何影响所提框架的有效性？
• RQ5 与标准监督微调相比，RLHF与字幕生成的结合是否能有效减少多模态物理问题求解中的幻觉现象？

主要发现

• 在LLaVA-1.5 13b模型上，使用文本、图像与字幕输入并结合RLHF的设置实现了83.28%的最高准确率，显著优于仅使用SFT的基线方法。
• 仅使用图像字幕（无图像输入）的监督微调在13b LoRA大模型上达到74.56%的准确率，表明文本形式的视觉描述可在缺乏视觉输入时有效补偿。
• 将图像字幕加入训练数据后，SFT准确率从仅使用文本+图像的53.3%提升至使用文本+图像+字幕的82.52%，实现29.22个百分点的提升。
• RLHF的引入进一步提升了性能，最佳设置（文本+图像+字幕+RLHF）达到83.28%的准确率，表明人类反馈的优化可增强推理能力与事实正确性。
• 13b模型搭配LoRA大配置（秩128）优于更小的LoRA配置，表明更高的参数效率适应在复杂推理任务中可提升性能。
• 图像字幕与RLHF的结合有效减少了幻觉现象并提升了响应连贯性，该结果通过基于人类偏好的奖励建模得到验证。