[論文レビュー] Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges

Bosheng Ding, Chengwei Qin+8 more|arXiv (Cornell University)|Mar 5, 2024

Semantic Web and Ontologies被引用数 6

ひとこと要約

本調査は、大規模言語モデル（LLMs）がデータの視点、学習パラダイム、および主要な課題を横断してデータ拡張をどのように推進するかを分析し、分類法と将来の方向性を提供します。

ABSTRACT

In the rapidly evolving field of large language models (LLMs), data augmentation (DA) has emerged as a pivotal technique for enhancing model performance by diversifying training examples without the need for additional data collection. This survey explores the transformative impact of LLMs on DA, particularly addressing the unique challenges and opportunities they present in the context of natural language processing (NLP) and beyond. From both data and learning perspectives, we examine various strategies that utilize LLMs for data augmentation, including a novel exploration of learning paradigms where LLM-generated data is used for diverse forms of further training. Additionally, this paper highlights the primary open challenges faced in this domain, ranging from controllable data augmentation to multi-modal data augmentation. This survey highlights a paradigm shift introduced by LLMs in DA, and aims to serve as a comprehensive guide for researchers and practitioners.

研究の動機と目的

• データの観点（データ作成、ラベリング、再形成、共同アノテーション）からLLMsを用いたデータ拡張を検討する。
• LLM生成データを多様な訓練形態（生成型と識別型）で使用する学習パラダイムを探る。
• 主要な課題（データの汚染、制御可能なDA、文化配慮とマルチモーダル拡張）を強調し、将来の方向性を提案する。
• 研究者と実務家のための包括的な分類法と実践的ガイダンスを提供する。

提案手法

• LLMsを用いたデータ拡張の分類法を提示する（データ視点と学習パラダイム）。
• 関連研究を概観し、事前LLM DAおよび指示調整/アラインメント研究と本サーベイの位置づけを行う。
• データ視点研究を要約する：データ作成、ラベリング、再形成、共同アノテーション。
• 生成的学習（教師あり指示、インコンテキスト学習、アラインメント）と識別的学習（疑似ラベリング、疑似スコアリング）を詳述する。
• 課題（データ汚染、制御可能なDA、文化配慮のあるDA、マルチモーダルDA）と将来の方向性を論じる。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのデータ拡張における主なデータ視点は何か（データ作成、ラベリング、再形成、共同アノテーション）？
• RQ2 LLM生成データ拡張に適用される学習パラダイム（生成型対識別型）は何か、そしてそれらはどのように機能するか？
• RQ3 LLMベースのデータ拡張の主要な課題は何か、そしてそれらに対処する有望な方向性は何か？

主な発見

• LLMsはデータ視点の拡張戦略として4つを可能にする：データ作成、ラベリング、再形成、共同アノテーション。
• LLMベースの学習パラダイムは、生成学習（指示チューニング、インコンテキスト学習、アラインメント）と識別学習（疑似ラベリング、疑似スコアリング）に分類できる。
• 本調査はタスクと領域を跨ぐ分類法と参考文献をまとめ、クロスリンガル、マルチモーダル、文化配慮を要する拡張のニーズを強調する。
• データ汚染、拡張の制御可能性、文化配慮を伴う多言語対応、マルチモーダルデータ統合など実践的な課題の存在。