[論文レビュー] Data Management For Training Large Language Models: A Survey

Zige Wang, Wanjun Zhong+7 more|arXiv (Cornell University)|Dec 4, 2023

Topic Modeling被引用数 5

ひとこと要約

本サーベイは、大規模言語モデル（LLM）のトレーニングにおけるデータ管理実践について、pretraining段階およびスチューデントファインチューニング段階の両方において、データ量、品質、ドメイン構成、およびデータ管理システムを網羅的に体系的に分析する。主な戦略を特定し、その影響を評価し、今後の課題を提示することで、効果的なデータキュレーションを通じてLLMトレーニングを最適化しようとする実務家にとっての指針となるリソースを提供する。

ABSTRACT

Data plays a fundamental role in training Large Language Models (LLMs). Efficient data management, particularly in formulating a well-suited training dataset, is significant for enhancing model performance and improving training efficiency during pretraining and supervised fine-tuning stages. Despite the considerable importance of data management, the underlying mechanism of current prominent practices are still unknown. Consequently, the exploration of data management has attracted more and more attention among the research community. This survey aims to provide a comprehensive overview of current research in data management within both the pretraining and supervised fine-tuning stages of LLMs, covering various aspects of data management strategy design. Looking into the future, we extrapolate existing challenges and outline promising directions for development in this field. Therefore, this survey serves as a guiding resource for practitioners aspiring to construct powerful LLMs through efficient data management practices. The collection of the latest papers is available at https://github.com/ZigeW/data_management_LLM.

研究の動機と目的

• LLMトレーニングにおけるデータ管理戦略選定の面で体系的分析が不足している問題に対処すること、特にpretraining段階およびスチューデントファインチューニング段階において。
• LLM開発におけるデータキュレーション戦略の裏付け、結果、および評価手法を明確にすること。
• pretraining段階およびファインチューニング段階の両方における、データ量、品質、およびドメイン／タスク構成の観点から、データ管理実践の体系的概要を提供すること。
• LLMのデータ管理における未解決の課題を特定し、有望な今後の研究方向性を提起すること。
• 効果的なデータ管理を通じて強力なLLMを構築しようとする研究者および実務家にとっての実用的かつ指針的なリソースとして機能すること。

提案手法

• 本サーベイは、最近のLLMのpretrainingおよびスチューデントファインチューニングにおけるデータ管理に関する研究を体系的にレビューし、データ量、品質、ドメイン構成に焦点を当てる。
• データ管理戦略を、データ量（例：スケーリング法則、繰り返し）、データ品質（例：重複除去、有害性およびバイアスのフィルタリング）、ドメイン構成（例：データセットの混合、専用コーパス）といった主要な次元に分類・分析する。
• Data-Juicer や Oasis といったデータ管理システムを評価し、大規模LLMトレーニングに向けたスケーラブルで効率的なデータ処理パイプラインを支援する仕組みを検証する。
• スチューデントファインチューニングにおけるデータ効率的学習技術（例：データ選択、カリキュラム学習）を検討し、最小限のデータでモデル性能を向上させることを目的とする。
• ベンチマーク評価および実験的研究の知見を統合し、データキュレーションがモデル性能および幻覚の緩和に与える影響を評価する。
• GPT-3 や Llama 2、Falcon などの複数のLLMおよびそれらのトレーニングデータ実践の知見を統合し、データ管理に一般的に適用可能な原則を導出する。

実験結果

リサーチクエスチョン

• RQ1 LLMのpretrainingおよびファインチューニング段階において、データ量を最適化するための主なデータ管理戦略は何か？ また、それらはモデル性能およびトレーニング効率にどのように影響を与えるか？
• RQ2 重複除去、有害性フィルタリング、バイアス低減、多様性といったデータ品質要因は、ファインチューニングされたLLMの耐性および信頼性にどのように影響を与えるか？
• RQ3 ドメインおよびタスク構成は、事前学習済みおよびファインチューニング済みLLMの能力にどのような役割を果たすか？ また、最適な混合構成を設計するにはどうすればよいか？
• RQ4 データ管理システムは、大規模LLMトレーニングに向けたスケーラブルで効率的かつ再現可能であるデータ処理パイプラインをどのように実現するか？
• RQ5 幻覚、社会的バイアス、マルチモーダルデータ統合に関して、データ管理分野における未解決の課題と有望な今後の研究方向性は何か？

主な発見

• データ量はLLM性能に顕著な影響を与える。スケーリング法則は、特にpretraining段階において、より多くのトレーニングトークンを用いることでモデルの正確性が向上することを示している。
• 重複除去および品質フィルタリング（例：SemDeDup や RefinedWeb の使用）は、データの重複を低減し、特に大規模pretrainingにおいてモデルの一般化性能を向上させる。
• トレーニングデータにおける有害性および社会的バイアスのフィルタリングは、有害な出力を減少させ、公平性を向上させる。Longpreら（2023b）の手法は、モデルの安全性向上に顕著な改善効果を示している。
• 高品質なインstructデータセット（例：人間によるアノテーションや自己インストラクション（例：Self-Instruct）を用いてキュレーション）は、ファインチューニング済みモデルの指示従い能力を顕著に向上させ、幻覚を低減する。
• Data-Juicer や Oasis といったデータ管理システムは、効率的でスケーラブルなデータ処理を可能にし、フィルタリング、重複除去、データ拡張といった複雑な変換処理を支援する。
• インstructチューニングにおけるマルチモーダルデータ統合は有望な兆しなのだが、スケーリング法則やタスクのバランス調整が未解決の課題のまま残っている。