[論文レビュー] On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey

Lin Long, Rui Wang+5 more|arXiv (Cornell University)|Jun 14, 2024

Scientific Computing and Data Management被引用数 4

ひとこと要約

本サーベイは、LLM駆動型の合成データ生成、キュレーション、評価を統合したフレームワークを提示し、既存の手法を一貫したワークフローに整理する。データ品質、多様性、評価の厳密性における重要なギャップを特定し、データ中心のAI分野における研究および産業応用を前進させるための体系的かつ体系的なアプローチを提唱する。

ABSTRACT

Within the evolving landscape of deep learning, the dilemma of data quantity and quality has been a long-standing problem. The recent advent of Large Language Models (LLMs) offers a data-centric solution to alleviate the limitations of real-world data with synthetic data generation. However, current investigations into this field lack a unified framework and mostly stay on the surface. Therefore, this paper provides an organization of relevant studies based on a generic workflow of synthetic data generation. By doing so, we highlight the gaps within existing research and outline prospective avenues for future study. This work aims to shepherd the academic and industrial communities towards deeper, more methodical inquiries into the capabilities and applications of LLMs-driven synthetic data generation.

研究の動機と目的

• LLM駆動型の合成データ研究において、現在断片的で浅い状態にとどまっている統一されたフレームワークの欠如に対処すること。
• 生成、キュレーション、評価の各段階を統合した一貫したワークフローに、現在の研究状況を体系化すること。
• 強固なモデルのトレーニングおよびデプロイメントを妨げる、データ品質、多様性、評価手法における重要なギャップを浮き彫りにすること。
• 学術界および産業界がNLP分野およびそれ以上の分野において、合成データをより体系的かつ効果的に活用するよう導くこと。
• 深層学習における人為的アノテーションデータの代替として、スケーラブルで制御可能かつ高品質な合成データの活用を促進すること。

提案手法

• 一般的な三段階のワークフロー（合成データ生成、キュレーション、評価）を提案し、既存の研究を統合する基盤として機能させる。
• プロンプト工学、Few-shotプロンプト、チェーン・オブ・トゥークン・プロンプト、自己一貫性技術のアプローチに基づいて、既存の手法を分類・分析する。
• フィルタリング、蒸留、アクティブラーニングを含むデータキュレーション戦略の分類を導入し、データ品質の向上とバイアスの低減を図る。
• 自然な表現性とタスク固有のパフォーマンスを評価する評価プロトコルをレビューし、ベンチマークデータセットにおけるゼロショットおよびFew-shot一般化性能を含む。
• 特定の下流タスク向けに制御可能なデータ生成を可能にする、指示に従う能力の重要性を強調する。
• LLMを生成者としてだけでなく、評価者およびキュレーターとしても活用し、最小限の人的介入でエンドツーエンドの合成データパイプラインを実現することを分析する。

実験結果

リサーチクエスチョン

• RQ1 体系的なLLM駆動型の合成データパイプラインの核心的構成要素および段階は何か？ そしてそれらを一貫したフレームワークに統合するにはどうすればよいか？
• RQ2 既存の手法は、さまざまなNLPタスクおよびドメインにおいて、合成データの高い正確性と十分な多様性をどのように確保しているか？
• RQ3 現在の合成データ評価手法における主な制限は何であり、実世界のモデルパフォーマンスを的確に反映するにはどのように改善できるか？
• RQ4 LLMは生成に加え、どのようにしてキュレーションおよび評価の分野でも活用できるか？
• RQ5 データ中心のAI分野における合成データの最も有望な応用および今後の研究方向性は何か？特に低リソースまたは高バイアス状況において。

主な発見

• Hugging Face上では300以上のデータセットがすでに「合成」としてタグ付けされており、主流のLLMトレーニングパイプラインへの広範な統合が進んでいることが示唆されている。
• Alpaca、Vicuna、OpenHermes 2.5、OpenChat 3.5といったLLM生成データセットは、ファインチューニングおよび事前学習の基盤として定着し、実用的・実践的妥当性を示している。
• 進展は見られるものの、多くのアプローチは利用可能なLLMに依存しており、ブラックボックスモデルを用いた活用の探求は限定的であるため、重要な研究ギャップが存在する。
• フィルタリングや蒸留といったキュレーション技術と組み合わせることで、合成データ生成は最も効果的となり、データ品質の向上とバイアスの低減が顕著に達成される。
• ToolBench、TruthfulQA、MATHといった評価ベンチマークでは、合成データでファインチューニングされたモデルが強力なパフォーマンスを示しており、特にデータ品質と多様性を丁寧に管理した場合に顕著である。
• 本研究では、標準化された評価プロトコルの必要性と、合成データの特性と下流タスク要件との間のより良い整合性を図る必要性が、強固さと公平性を確保するために極めて重要であると同定している。