[論文レビュー] How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition

Guanting Dong, Hongyi Yuan+8 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、教師あり微調整（SFT）データの構成が大規模言語モデルにおける数学的推論、コード生成、一般命令従順性の能力に与える影響を調査する。本研究では、継続的忘却を軽減し、多様な能力において優れた性能を達成するための二段階混合微調整（DMT）戦略を提案する。特に限られたデータ量下でも優れた性能を発揮し、実証結果ではLLaMAモデルのサイズにかかわらずDMTが標準的なSFT戦略を上回ることを示している。

ABSTRACT

Large language models (LLMs) with enormous pre-training tokens and parameters emerge diverse abilities, including math reasoning, code generation, and instruction following. These abilities are further enhanced by supervised fine-tuning (SFT). While the open-source community has explored ad-hoc SFT for enhancing individual capabilities, proprietary LLMs exhibit versatility across various skills. Therefore, understanding the facilitation of multiple abilities via SFT is paramount. In this study, we specifically focuses on the interplay of data composition between mathematical reasoning, code generation, and general human-aligning abilities during SFT. We propose four intriguing research questions to explore the association between model performance and various factors including data amount, composition ratio, model size and SFT strategies. Our experiments reveal that distinct capabilities scale differently and larger models generally show superior performance with same amount of data. Mathematical reasoning and code generation consistently improve with increasing data amount, whereas general abilities plateau after roughly a thousand samples. Moreover, we observe data composition appears to enhance various abilities under limited data conditions, yet can lead to performance conflicts when data is plentiful. Our findings also suggest the amount of composition data influences performance more than the composition ratio. In analysis of SFT strategies, we find that sequentially learning multiple skills risks catastrophic forgetting. Our proposed Dual-stage Mixed Fine-tuning (DMT) strategy offers a promising solution to learn multiple abilities with different scaling patterns.

研究の動機と目的

• 数学的推論、コード生成、一般命令従順性の間のデータ構成が、教師あり微調整中のモデル性能に与える影響を理解すること。
• 異なるデータ量、構成比、モデルサイズ、SFT戦略における性能スケーリングパターンを調査すること。
• 多タスクSFTに起因する性能の衝突を同定し、その原因要因を特定すること。
• 多様なスケーリング特性を示す複数の能力を学習するためのSFT戦略（多タスク、逐次的、混合逐次的、DMT）を評価・比較すること。

提案手法

• まず、数学、コード、一般データのバランスの取れた混合データで事前学習を行い、次に優先順位を考慮したサブセットで微調整することで、継続的忘却を軽減する二段階混合微調整（DMT）戦略を提案する。
• k割合サンプリング機構を採用し、kは混合学習における特定能力データの割合を表す。
• GSM8K（数学的推論）、HumanEval（コード生成）、MT-Bench（一般アライメント）の3つのベンチマークで制御された実験を実施する。
• モデルサイズのスケーリング効果を評価するため、7B、13B、33BパラメータのLLaMAモデルを用いる。
• t-SNE可視化を用いて、DMT学習後の表現の変化を分析し、各能力間の特徴空間クラスタリングの変化を比較する。
• ShareGPTからコードおよび数学データを削除することで、一般命令データの影響を隔離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 数学的推論、コード生成、一般能力は、SFTデータ量の増加に伴いどのようにスケーリングするか？
• RQ2 数学、コード、一般能力を一度のSFT段階で統合すると、性能に衝突が生じるか？
• RQ3 多能力SFTにおける性能衝突を引き起こす主な要因（データ量、構成比、モデルサイズ）は何か？
• RQ4 多様なスケーリング特性を示す複数の能力を学習する際、異なるSFT戦略（多タスク、逐次的、混合逐次的、DMT）は、その学習にどのように影響するか？

主な発見

• 数学的推論能力とコード生成能力は、SFTデータ量の増加に伴い一貫してスケーリングし、256サンプルでも性能向上が見られた。
• 一般命令従順性能力は約1,000サンプルで飽和し、推論やコード生成とは異なり、その点が明確に観察された。
• 高いデータ量下では、ある能力の最適化が他の能力の性能を低下させる性能衝突が生じ、特に多タスク学習で顕著であった。
• 構成データの量が構成比よりも影響力が大きい。バランスの取れた比率よりも、絶対的なデータ量の増加が性能向上に寄与する。
• 逐次的訓練は継続的忘却を引き起こし、非逐次的タスクの性能が著しく低下した（例：LLaMA-7Bでは数学の正確度が49.10から31.39に低下）。
• 提案されたDMT戦略は、すべてのベンチマークで最先端の性能を達成した。LLaMA-7Bでは、GSM8Kで41.92、HumanEvalで17.68、MT-Benchで6.08を達成し、多タスクおよび逐次的ベースラインを上回った。