[論文レビュー] Empowering Large Language Models for Textual Data Augmentation

Yichuan Li, Kaize Ding+2 more|arXiv (Cornell University)|Apr 26, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）のためのタスク固有の増幅指示を自動的に生成・選択するフレームワークであるSelf-LLMDAを提案する。この手法により、高品質なテキストデータ増幅が可能となる。LLMsを用いて多様な指示を生成し、スコアリングモデルで最も効果的なものを選択することで、26の少サンプル学習タスクにおいて最先端の性能を達成し、非LLMおよび既存のLLMベースの増幅手法を顕著に上回る。

ABSTRACT

With the capabilities of understanding and executing natural language instructions, Large language models (LLMs) can potentially act as a powerful tool for textual data augmentation. However, the quality of augmented data depends heavily on the augmentation instructions provided, and the effectiveness can fluctuate across different downstream tasks. While manually crafting and selecting instructions can offer some improvement, this approach faces scalability and consistency issues in practice due to the diversity of downstream tasks. In this work, we address these limitations by proposing a new solution, which can automatically generate a large pool of augmentation instructions and select the most suitable task-informed instructions, thereby empowering LLMs to create high-quality augmented data for different downstream tasks. Empirically, the proposed approach consistently generates augmented data with better quality compared to non-LLM and LLM-based data augmentation methods, leading to the best performance on 26 few-shot learning tasks sourced from a wide range of application domains.

研究の動機と目的

• LLMベースのデータ増幅における手作業によるタスクに依存しない増幅指示の限界、すなわち一貫性の欠如と下流タスクへの一般化能力の低さを是正すること。
• 専門家が手作業で作成するプロンプトに依存することを減らすために、LLMsを用いて多様な高品質な増幅指示のプールを自動生成すること。
• 特定の下流タスクに適合した指示を選択するスコアリングモデルを開発し、データ増幅の品質とモデル性能を向上させること。
• 高自然性、多様性、意味的整合性を維持した、スケーラブルで一般化可能なLLMベースのデータ増幅フレームワークを確立すること。
• 幅広いNLPタスクにおいてフレームワークを検証し、既存手法に比べて一貫して優れた性能を示すことを実証すること。

提案手法

• 種まき戦略から出発し、大規模言語モデルを用いて多様な増幅指示を自動生成することで、人間が作成した例を超えた指示空間を拡張する。
• リtrieーブ・オーバーラップ・プロンプティング戦略を適用し、構文的・意味的・構造的な変化をカバーする多様で意味的に妥当な指示を生成する。
• 小さなスケールでのモデル微調整による性能予測を用いて、特定の下流タスクにおける期待される有効性に基づき、生成された指示をスコアリングモデルでランク付けする。
• 各タスクに対してスコア上位k個の指示を選択し、LLMが最終的な増幅データを生成する際にタスク固有の関連性を保証する。
• まず指示生成、次に性能に配慮したスコアリングによる指示選択という二段階プロセスを採用し、多様性と正確性のバランスを取る。
• 自動評価指標と下流タスクの性能を用いて、生成されたデータの品質および指示選択プロセスの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いた自動指示生成は、手作業で作成された指示よりも広範かつ多様な増幅戦略を生み出せるか？
• RQ2 性能に配慮したスコアリングモデルによるタスクに適合した増幅指示の選択は、タスクに依存しないまたは非LLM手法に比べ、より高品質な増幅データをもたらすか？
• RQ3 提案されたSelf-LLMDAフレームワークは、多様な下流NLPタスクにおいて少サンプル学習設定でどの程度の性能を示すか？
• RQ4 このフレームワークは、未観測の増幅指示やターゲットモデルに対してもどの程度一般化可能か？
• RQ5 指示の品質と特異性は、データ増幅訓練における下流モデルの精度にどのような影響を及えるか？

主な発見

• Self-LLMDAは、26の多様な少サンプル学習タスクにおいて、非LLMおよび既存のLLMベースのデータ増幅手法を一貫して上回り、評価されたすべてのベンチマークで最高の性能を達成した。
• 手作業によるプロンプトやヒューリスティックベースの手法と比較して、より高品質で多様かつ意味的に整合性のある増幅データを生成することで、下流モデルの精度が顕著に向上した。
• スコアリングモデルは、タスク固有の指示を効果的に同定し、異なるドメインやタスク間での性能ばらつきを低減するのに成功した。
• 未観測の増幅指示やターゲットモデルに対しても、良好な一般化性能を示し、強いロバスト性と広範な適用可能性を示した。
• LLMsによる自動指示生成は、人間が作成した代替案に比べ、はるかに多く多様な戦略プールを生み出し、データ増幅の多様性を向上させた。
• 実証的結果から、タスクに適合した指示選択が不可欠であることが確認された。ランダムまたは一般的な指示は、低品質なデータとモデル性能の低下をもたらした。