[論文レビュー] Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback

N L Adarsh, Pattathal V. Arun+1 more|arXiv (Cornell University)|Mar 11, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、Flickr8kデータセットを用いて、教師あり学習と人間フィードバックを用いた強化学習（RLHF）を組み合わせたハイブリッドアプローチを提案し、画像キャプション生成を改善する。人間のフィードバックに基づいて最適化された新しい損失関数を導入し、ベースラインモデルと比較して人間の好みとの整合性が著しく向上した。

ABSTRACT

Research on generative models to produce human-aligned / human-preferred outputs has seen significant recent contributions. Between text and image-generative models, we narrowed our focus to text-based generative models, particularly to produce captions for images that align with human preferences. In this research, we explored a potential method to amplify the performance of the Deep Neural Network Model to generate captions that are preferred by humans. This was achieved by integrating Supervised Learning and Reinforcement Learning with Human Feedback (RLHF) using the Flickr8k dataset. Also, a novel loss function that is capable of optimizing the model based on human feedback is introduced. In this paper, we provide a concise sketch of our approach and results, hoping to contribute to the ongoing advances in the field of human-aligned generative AI models.

研究の動機と目的

• モデル出力を人間の好みに一致させるために、画像キャプション生成を改善すること。
• 人間フィードバック（RLHF）を用いた教師あり学習と強化学習を統合し、より優れたキャプション品質を達成すること。
• 人間のフィードバック信号に基づいてキャプション生成を最適化する新しい損失関数を開発すること。
• 提案手法の有効性をFlickr8kデータセット上で評価すること。
• 視覚言語タスクにおける人間中心の生成AIモデルの発展に貢献すること。

提案手法

• モデルは、Flickr8kデータセットの正解キャプションを用いて教師あり学習で事前学習される。
• 生成されたキャプションをランク付けする人間のフィードバックが収集され、好みのデータセットが作成される。
• キャプションペアに基づいて人間の好みスコアを予測するための報酬モデルが訓練される。
• 報酬モデルを用いて強化学習を適用し、キャプションポリシーをファインチューニングする。
• 人間のフィードバック信号を統合してキャプション生成を最適化する新しい損失関数が導入される。
• 最終的なモデルは、フィードバック最適化損失を用いてポリシー勾配法でエンドツーエンドでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習とRLHFを組み合わせることで、画像キャプション生成の品質が向上するか？
• RQ2 提案された新しい損失関数は、人間の好みにキャプションをどれほど効果的に一致させるか？
• RQ3 人間のフィードバックの統合が、Flickr8kデータセットにおけるキャプション品質の向上に顕著な効果をもたらすか？
• RQ4 人間の好み評価において、モデルのパフォーマンスは標準的な教師ありベースラインと比べてどのように差がつくか？
• RQ5 報酬モデルは、好まれるキャプションへのポリシー最適化をどのように導くか？

主な発見

• 提案手法は、教師ありベースラインと比較して、人間の好みとの整合性が顕著に向上した。
• 新しい損失関数は、キャプション生成における人間のフィードバック信号を効果的に捉え、最適化できた。
• RLHFの統合により、より記述的で、一貫性があり、文脈的に正確なキャプションが生成された。
• 人間の好みデータセットにおいて、より高い報酬スコアを達成しており、人間の判断との整合性が高まったことが示された。
• 人間のフィードバックが、視覚言語タスクにおける生成モデルの精錬に効果的に活用可能であることが実証された。
• BLEUやCIDErを含む複数の評価指標において一貫した改善が得られ、特に人間の好みスコアでの向上が顕著であった。