[論文レビュー] MM-PhyRLHF: Reinforcement Learning Framework for Multimodal Physics Question-Answering

Janak Kapuriya, Chhavi Kirtani+8 more|arXiv (Cornell University)|Apr 19, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、画像キャプションと人間フィードバックからの強化学習（RLHF）を統合した強化学習フレームワークMM-PhyRLHFを提案する。このフレームワークは、LLaVAベースのモデルにおけるマルチモーダル物理学質問応答の性能を向上させることを目的としている。詳細な画像キャプションによる視覚的理解の強化と、人間の好みに基づく報酬モデリングによる推論の最適化により、MM-PhyQAデータセット上で83.28%の精度を達成し、単なる教師あり微調整に比べ顕著に優れた性能を示した。

ABSTRACT

Recent advancements in LLMs have shown their significant potential in tasks like text summarization and generation. Yet, they often encounter difficulty while solving complex physics problems that require arithmetic calculation and a good understanding of concepts. Moreover, many physics problems include images that contain important details required to understand the problem's context. We propose an LMM-based chatbot to answer multimodal physics MCQs. For domain adaptation, we utilize the MM-PhyQA dataset comprising Indian high school-level multimodal physics problems. To improve the LMM's performance, we experiment with two techniques, RLHF (Reinforcement Learning from Human Feedback) and Image Captioning. In image captioning, we add a detailed explanation of the diagram in each image, minimizing hallucinations and image processing errors. We further explore the integration of Reinforcement Learning from Human Feedback (RLHF) methodology inspired by the ranking approach in RLHF to enhance the human-like problem-solving abilities of the models. The RLHF approach incorporates human feedback into the learning process of LLMs, improving the model's problem-solving skills, truthfulness, and reasoning capabilities, minimizing the hallucinations in the answers, and improving the quality instead of using vanilla-supervised fine-tuned models. We employ the LLaVA open-source model to answer multimodal physics MCQs and compare the performance with and without using RLHF.

研究の動機と目的

• 複雑な算術的推論と視覚的理解を要するマルチモーダル物理学問題を解く際、大規模言語モデル（LLM）の限界を是正すること。
• 画像に詳細なキャプションを追加することで、マルチモーダル物理学質問応答における幻覚の低減と事実整合性の向上を図ること。
• 人間の好みに合わせた強化学習（RLHF）を活用し、推論の質と応答の質を向上させることで、モデル出力を人間の好みに一致させること。
• 画像キャプションとRLHFの併用が、インドの中学校レベルの物理学多肢選択問題における性能に与える統合的影響を評価すること。
• マルチモーダルLLMを活用した、物理学教育に特化した強固でオープンソースの教育用AIシステムの開発

提案手法

• 詳細な画像キャプションを生成するInfi-MMキャプションモデルを用いて、改変されたMM-PhyQAデータセットを画像キャプションで豊かにしたLLaVA-1.5モデルを微調整した。
• 3種類の入力組み合わせ（テキスト＋画像、テキスト＋キャプション、テキスト＋画像＋キャプション）を用いた教師あり微調整（SFT）を実施した。
• 人間による応答品質のランク付けに基づく好みデータセットを活用し、推論の整合性とプロンプトへの準拠性に焦点を当てたRLHFを適用した。
• 人間の好みランクに基づいて応答品質を予測する報酬モデル（RM）を訓練し、その後、近接ポリシー最適化（PPO）を用いてポリシー最適化を実行した。
• 効率的な微調整のため、LoRA（低ランク適応）を採用し、複数のLoRAランクとモデルサイズ（7B, 13B）をテストして、速度と性能のバランスを図った。
• 複数画像のChain-of-ThoughtプロンプティングをRLHFおよびキャプションと組み合わせることで、物理学問題解決における段階的推論の向上を図った。

Figure 1. Preference dataset Pipeline

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル物理学データセットに詳細な画像キャプションを追加することで、LLMの推論力と精度にどのような影響を与えるか？
• RQ2 RLHFを統合することで、物理学QAにおけるLLM生成応答の事実整合性、推論品質、真実性がどの程度向上するか？
• RQ3 画像キャプションとRLHFの両者が、マルチモーダル物理学質問応答の精度向上に果たす相対的寄与度はどの程度か？
• RQ4 異なるLLaVAモデルサイズとLoRA設定が、提案フレームワークの有効性にどのように影響するか？
• RQ5 標準的な教師あり微調整に比べ、RLHFとキャプションの統合がマルチモーダル物理学問題解決における幻覚をどの程度低減できるか？

主な発見

• テキスト＋画像＋キャプション入力にRLHFを適用したLLaVA-1.5 13bモデルが、83.28%の最高精度を達成し、基準となるSFTのみのアプローチに比べ顕著に優れた性能を示した。
• 画像入力なしで画像キャプションのみを用いたSFTでは、13b LoRA大規模モデルで74.56%の精度を達成した。これは、視覚的データが欠落している場合でも、テキストによる視覚的記述がそれを補完できることを示している。
• 訓練データに画像キャプションを追加することで、SFTの精度は画像＋テキストのみの53.3%から、画像＋テキスト＋キャプションの82.52%に上昇し、29.22ポイントの改善が確認された。
• RLHFの統合によりさらなる性能向上が見られ、最良の設定（テキスト＋画像＋キャプション＋RLHF）では83.28%の精度を達成した。これは、人間のフィードバックによる最適化が推論力と事実の正確性を向上させることを示している。
• 13bモデルにLoRA大規模（ランク128）を適用した場合、より小さいLoRA設定に比べて優れた性能を示した。これは、高いパrameter効率の適応が、複雑な推論タスクにおいて性能向上に寄与することを示している。
• 画像キャプションとRLHFの統合により、幻覚が低減され、応答の整合性が向上した。これは、人間の好みに基づく報酬モデリングによる検証で裏付けられた。