[論文レビュー] Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations

Zhuoyan Li, Hangxiao Zhu+2 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用数 6

ひとこと要約

本研究では、大規模言語モデル（LLM）がテキスト分類のための合成データを生成する効果性を調査し、タスクおよびインスタンスの主観性が高くなるにつれて、合成データにおけるモデル性能が著しく低下することを明らかにした。少数の実世界の例を用いてLLMをガイドすることで性能が向上するが、皮肉やユーモアの検出のような高主観性タスクは、データの多様性が限られ、人間の解釈が洗練されているため、依然として困難である。

ABSTRACT

The collection and curation of high-quality training data is crucial for developing text classification models with superior performance, but it is often associated with significant costs and time investment. Researchers have recently explored using large language models (LLMs) to generate synthetic datasets as an alternative approach. However, the effectiveness of the LLM-generated synthetic data in supporting model training is inconsistent across different classification tasks. To better understand factors that moderate the effectiveness of the LLM-generated synthetic data, in this study, we look into how the performance of models trained on these synthetic data may vary with the subjectivity of classification. Our results indicate that subjectivity, at both the task level and instance level, is negatively associated with the performance of the model trained on synthetic data. We conclude by discussing the implications of our work on the potential and limitations of leveraging LLM for synthetic data generation.

研究の動機と目的

• 実世界のデータと比較して、LLMが生成する合成データがテキスト分類モデルの学習にどの程度有効であるかを評価すること。
• タスクレベルおよびインスタンスレベルの主観性が、合成データで訓練されたモデルの性能にどのように影響するかを調査すること。
• モデルの汎化性能を向上させるために、合成データ生成におけるゼロショットとFew-shotプロンプティング戦略を比較すること。
• 高品質な生成能力を持つにもかかわらず、合成データが高主観性分類タスクで性能を発揮しない理由を理解すること。
• 低リソースまたはゼロショット学習の状況における合成データ生成の意味を検討すること。

提案手法

• GPT-3.5-Turboを用いて、ゼロショットおよびFew-shotプロンプティングの両方を用いて、10の多様なテキスト分類タスクの合成テキストインスタンスを生成した。
• ゼロショットプロンプティングを適用し、例を提示せずに、特定のラベルを持つインスタンスを生成するように直接指示した。
• Few-shotプロンプティングを適用し、少数の実世界のラベル付き例を提供することで、LLMがより文脈的に正確な合成データを生成できるようにガイドした。
• 合成データおよび実世界データの両方でテキスト分類モデルを訓練し、タスク間での性能を比較した。
• 標準的な指標（例：F1スコア）を用いてモデル性能を測定し、タスクレベルおよびインスタンスレベルの主観性スコアと相関を分析した。
• インスタンスレベルでの主観性を定量化するために、クラウドワーカーがラベルの一致度を評価する人間によるアノテーションスコアを収集した。

実験結果

リサーチクエスチョン

• RQ1 タスクレベルの主観性は、LLMが生成する合成データで訓練されたテキスト分類モデルの性能にどのように影響するか？
• RQ2 インスタンスレベルの主観性（すなわち、人間のアノテーター間の合意のなさ）は、合成データにおけるモデル性能とどのように相関するか？
• RQ3 Few-shotプロンプティングは、ゼロショットプロンプティングと比較して、LLMが生成する合成データの質および効果性を向上させるか？
• RQ4 特定の種類の分類タスクでは、合成データが実世界データと同等の性能を発揮する場合があるか？
• RQ5 LLMは、皮肉やユーモアのような洗練された主観的言語パターンを捉えるのにどのような限界を有するか？

主な発見

• 合成データで訓練されたモデルは、実世界データで訓練されたモデルと比較して、ほとんどのタスクで顕著に性能が低く、特に皮肉やユーモア検出のような高主観性タスクで顕著に劣っていた。
• Few-shotプロンプティングはゼロショットプロンプティングと比較して、合成データにおけるモデル性能を向上させた。これは、わずか数個の実例を提供するだけで、データ品質およびモデルの汎化性能が向上することを示している。
• ニュースのトピック分類やスパム検出のような低主観性タスクでは、合成データで訓練されたモデルが実データで訓練されたモデルと同等の性能を達成した。
• 同じタスク内では、合成データで訓練されたモデルが、人間のアノテーターがより高い合意度を示した低主観性のインスタンスでより高い性能を示した。
• Financial PhrasebankおよびSarcasmデータセットでは、主観性レベルにかかわらず性能のばらつきがほとんどなく、ゼロショット生成におけるドメイン固有の用語やドメイン知識の欠如が原因であると考えられる。
• 本研究では、タスク／インスタンスの主観性と合成データにおけるモデル性能の間に強い負の相関が確認された。これは、主観性が合成データの有効性を左右する主要な要因であることを示唆している。