[論文レビュー] MoDS: Model-oriented Data Selection for Instruction Tuning

Qianlong Du, Chengqing Zong+1 more|arXiv (Cornell University)|Nov 27, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、品質、カバレッジ、必用性の基準を統合することで、高品質で多様かつ必要な指示データを選択する、モデル指向のデータ選択フレームワークであるMoDSを提案する。品質評価モデル、カバレッジのためのk-centerグリーディクラスタリング、およびモデル性能のギャップに基づく必用性評価モデルを用い、214kのデータセット全体を用いた微調整よりも優れた性能を示す、わずか4,000の指示ペアを選択する。

ABSTRACT

Instruction tuning has become the de facto method to equip large language models (LLMs) with the ability of following user instructions. Usually, hundreds of thousands or millions of instruction-following pairs are employed to fine-tune the foundation LLMs. Recently, some studies show that a small number of high-quality instruction data is enough. However, how to select appropriate instruction data for a given LLM is still an open problem. To address this problem, in this paper we present a model-oriented data selection (MoDS) approach, which selects instruction data based on a new criteria considering three aspects: quality, coverage and necessity. First, our approach utilizes a quality evaluation model to filter out the high-quality subset from the original instruction dataset, and then designs an algorithm to further select from the high-quality subset a seed instruction dataset with good coverage. The seed dataset is applied to fine-tune the foundation LLM to obtain an initial instruction-following LLM. Finally, we develop a necessity evaluation model to find out the instruction data which are performed badly in the initial instruction-following LLM and consider them necessary instructions to further improve the LLMs. In this way, we can get a small high-quality, broad-coverage and high-necessity subset from the original instruction datasets. Experimental results show that, the model fine-tuned with 4,000 instruction pairs selected by our approach could perform better than the model fine-tuned with the full original dataset which includes 214k instruction data.

研究の動機と目的

• 大規模言語モデル（LLMs）の微調整のための最適な指示データを選択するという未解決問題に取り組む。
• データの品質と多様性に加え、ターゲットLLMの特定の能力ギャップも考慮するデータ選択手法を開発する。
• 指示データの巨大なデータセットへの依存を減らし、最小限の高インパクトな指示従いペairのサブセットを特定する。
• より少ないが戦略的に選択されたデータポイントで、指示従い性能を向上させる。

提案手法

• 品質評価モデルが、データセット内のすべての（指示、入力、出力）トリプルをスコア付けし、高品質な例をフィルタリングする。
• k-centerグリーディアルゴリズムを用いて、高品質データから多様なサブセットを選択し、指示空間のカバレッジを最大化する。
• 選択されたシードデータセットを用いてターゲットLLMを微調整し、初期の指示従いモデルを構築する。
• 必用性評価モデルが、微調整済みモデルが性能を発揮しないとされる指示を特定し、能力ギャップを示す。
• モデルの高品質データに対する推論結果を用いて、性能が低いとされる指示を検出し、それを拡張データとして収集する。
• 最終的なデータセットは、シードデータと拡張データを組み合わせたものであり、高品質で広範なカバレッジ、かつ高い必用性を持つサブセットを形成する。

実験結果

リサーチクエスチョン

• RQ1 品質、カバレッジ、必用性の基準を統合したモデル指向のデータ選択戦略が、従来のデータ選択手法よりも、指示微調整において優れた性能を発揮できるか？
• RQ2 全データセットを用いた微調整よりも、少数の戦略的に選択された指示データサブセットを用いることで、より優れた指示従い性能を達成できるか？
• RQ3 モデル性能ギャップに基づいて選択された必用性認識データの導入が、最終モデルの指示従い能力にどのように影響するか？
• RQ4 微調整済みLLMの能力ギャップを効果的に埋めるために、最適な拡張データのサイズは何か？

主な発見

• MoDSによって4,000の指示ペアが選択されたモデルは、全214kの指示データセットを用いた微調整のモデルを上回る性能を示した。
• k-centerグリーディアルゴリズムは、ランダムサンプリングに比べて顕著に性能を向上させ、多様で高カバレッジのデータ選択の有効性を示している。
• モデル性能ギャップに基づいて選択された拡張データの導入により、シードデータセットのみを使用した場合に比べて、顕著な性能向上が達成された。
• 3,000個の拡張データポイントを用いた場合、MoDSモデルのスコアは1.0を超えることが確認され、全データセットベースラインよりも優れた性能を示した。
• 拡張データセットが3,000例に達すると、性能向上の伸びが鈍り、以降はリターンが減少する傾向が示された。