[論文レビュー] InstructionGPT-4: A 200-Instruction Paradigm for Fine-Tuning MiniGPT-4

Wei Lai, Zihao Jiang+2 more|arXiv (Cornell University)|Aug 23, 2023

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文では、200件の高品質な指示従い例（元のMiniGPT-4データセットの6％）に限定して微調整されたマルチモーダル大規模言語モデルであるInstructionGPT-4を紹介する。本研究では、視覚言語データの低品質度を新たな指標を用いて評価・フィルタリングするトレーニング可能なデータセレクタを用いる。モデルは複数のベンチマークでMiniGPT-4を上回り、MMEスコアで+23向上を達成し、VQAおよびMMBenchタスクでも優れた性能を示した。これは、指示微調整において、データの質が量よりも重要であることを示している。

ABSTRACT

Multimodal large language models are typically trained in two stages: first pre-training on image-text pairs, and then fine-tuning using supervised vision-language instruction data. Recent studies have shown that large language models can achieve satisfactory results even with a limited amount of high-quality instruction-following data. In this paper, we introduce InstructionGPT-4, which is fine-tuned on a small dataset comprising only 200 examples, amounting to approximately 6\% of the instruction-following data used in the alignment dataset for MiniGPT-4. To achieve this, we first propose several metrics to access the quality of multimodal instruction data. Based on these metrics, we present an effective and trainable data selector to automatically identify and filter low-quality vision-language data. By employing this method, InstructionGPT-4 outperforms the original MiniGPT-4 on various evaluations. Overall, our findings demonstrate that less but high-quality instruction tuning data is efficient in enabling multimodal large language models to generate better output. Our code is available at https://github.com/waltonfuture/InstructionGPT-4.

研究の動機と目的

• 大幅に削減されたが高品質な指示データが、マルチモーダルLLMにおける標準的大規模指示微調整を上回る可能性があるかを調査すること。
• 高品質な視覚言語指示データを収集する明確なガイドラインの欠如に対処すること。
• 既存データセット内の低品質なマルチモーダル指示例を特定・フィルタリングする、強固で自動化されたデータ選択パイプラインの開発。
• データ品質指標およびクラスタリングの有効性を評価し、モデルの整合性と性能向上に寄与するかを検証すること。
• より少ないが高品質なデータが、より大きなノイズを含むデータセットに比べて、より優れた一般化性能と性能を発揮できることを実証すること。

提案手法

• 視覚言語指示データの品質を評価するための5つの新規指標（CLIPスコア、GPTスコア、リワードスコア、長さスコア、マルチモーダル特徴埋め込み）を提案する。
• 元の3.4K件の指示データを多様で代表的なクラスタに分割するため、スペクトルクラスタリングを用いる。
• バリデーションセットにおけるモデル性能から導出された真値の品質ラベルとデータ埋め込みの関係を学習するため、自己注意ネットワークをデータセレクタとして訓練する。
• 訓練済みのデータセレクタを用いて各クラスタから上位品質のデータをランク付け・選択し、200件の洗練済みデータセットを構築する。
• 公平な比較のため、元のMiniGPT-4と同一のハイパーパrameterを用いて、選択された200件の例でMiniGPT-4を微調整する。
• クラスタリングおよび特徴次元の影響を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 3.4K件の標準的データポイントではなく、わずか200件の高品質な指示例で微調整されたマルチモーダルLLMが、優れた性能を発揮できるか？
• RQ2 自動データセレクタは、ランダムまたはフィルタリングなしのサンプリングに比べ、高品質な視覚言語指示データをどれほど効果的に特定できるか？
• RQ3 実際の下流マルチモーダルベンチマークにおけるモデル性能と最も相関する指標および特徴は何か？
• RQ4 データ選択パイプラインにスペクトルクラスタリングを組み込むことで、洗練済みデータセットの多様性と代表性が向上するか？
• RQ5 フルスケールの指示データセットで微調整されたモデルの性能を超えるために、最小限必要な有効なデータサイズは何か？

主な発見

• InstructionGPT-4は、MiniGPT-4に比べてMMEベンチマークで+23ポイントのスコア向上を達成し、極めて少ないデータ量でも顕著な性能向上を示した。
• MMEベンチマークの14タスク中8つでMiniGPT-4を上回り、LVLM-eHub評価スイートに含まれる4つのVQAデータセットすべてで優れた性能を発揮した。
• MMBenchで+1.55ポイント、VQAデータセットで+1.76%の相対的向上を確認し、多様なマルチモーダルタスクにおいて一貫した優位性を示した。
• アブレーションスタディの結果、クラスタリングはすべてのアーキテクチャでデータセレクタの性能を向上させ、多様性と一般化性能の観点で不可欠な役割を果たしていることが証明された。
• VQAタスクの性能向上には50件のデータ選択で十分であるが、より広範なベンチマークでMiniGPT-4を上回るには200件の例が必要であり、強い汎化能力が示された。
• マルチモーダル特徴の次元を6に設定すると最適な性能が得られ、それより低い値は特徴をあまりに圧縮し、高い値は過学習のリスクを増加させる。