[論文レビュー] Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions

John Joon Young Chung, Ece Kamar+1 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLM）と標的的な人間の介入を組み合わせることで、多様性と正確性に優れたテキストデータセットを生成する人間-AI協働フレームワークを提案する。多様性向上のためのログイット抑制と温度サンプリングを適用し、誤って一致しないラベルを修正するためのラベル置換を用いることで、14.4%の絶対的正確性向上を達成。LLMによって生成されたデータで訓練されたモデルは、GPT-3の少しだけの例示分類を上回る性能を示した。

ABSTRACT

Large language models (LLMs) can be used to generate text data for training and evaluating other models. However, creating high-quality datasets with LLMs can be challenging. In this work, we explore human-AI partnerships to facilitate high diversity and accuracy in LLM-based text data generation. We first examine two approaches to diversify text generation: 1) logit suppression, which minimizes the generation of languages that have already been frequently generated, and 2) temperature sampling, which flattens the token sampling probability. We found that diversification approaches can increase data diversity but often at the cost of data accuracy (i.e., text and labels being appropriate for the target domain). To address this issue, we examined two human interventions, 1) label replacement (LR), correcting misaligned labels, and 2) out-of-scope filtering (OOSF), removing instances that are out of the user's domain of interest or to which no considered label applies. With oracle studies, we found that LR increases the absolute accuracy of models trained with diversified datasets by 14.4%. Moreover, we found that some models trained with data generated with LR interventions outperformed LLM-based few-shot classification. In contrast, OOSF was not effective in increasing model accuracy, implying the need for future work in human-in-the-loop text data generation.

研究の動機と目的

• LLMを用いて、下流の分類タスクに適した高品質で多様性に富み、正確性の高いテキストデータセットを生成する課題に対処すること。
• LLMによるテキスト生成における技術的多様化手法が、データ品質および下流モデルの性能に与える影響を調査すること。
• 具体的には、ラベル置換とスコープ外フィルタリングという人間の介入が、LLMが生成するデータセットの正確性と多様性に与える影響を評価すること。
• 人間が修正を加え、多様化されたLLM生成データが、少しだけの例示学習のGPT-3分類を上回ることを実証すること。
• 現在の「人間が参加する」戦略における限界を特定すること、特にスコープ外フィルタリングが正確性向上に効果を示さない点に注目すること。

提案手法

• テキスト生成中に頻繁に生成されるトークンを抑制することで、繰り返しを低減するためのログイット抑制を適用する。
• トークン確率分布を平らにするために高温サンプリングを用い、より可能性が低いが多様なシーケンスの生成を促進する。
• ラベル置換（LR）を人間の介入として実装し、LLM生成データ内の不一致ラベルを修正する。
• ターゲットドメインに属さない、または有効なラベルを持たないインスタンスを削除するためのスコープ外フィルタリング（OOSF）を適用する。
• 模擬的な人間の修正をシミュレートするためのオラクルスタディを実施し、代理モデルを用いてその影響をモデル性能に評価する。
• 人間の介入を施した・施さないを比較して、LLM生成データセット上で下流分類モデルを訓練・評価し、正確性、多様性、オリジナルデータセットとの類似性を測定する。

Figure 1: Examples of Diversification Approaches.

実験結果

リサーチクエスチョン

• RQ1 ログイット抑制と温度サンプリングは、LLMが生成するテキストデータの多様性と正確性にどのように影響するか？
• RQ2 ラベル置換は、多様化されたLLM生成データで訓練されたモデルの正確性をどの程度向上させるか？
• RQ3 スコープ外フィルタリングはモデル正確性を効果的に向上させることができるか、それとも有用な訓練インスタンスを削除することで性能を損なうのか？
• RQ4 人間による介入を施したLLM生成データセットは、GPT-3の少しだけの例示学習を上回る性能を示せるか？
• RQ5 多様化と人間介入戦略の異なる組み合わせは、モデルの汎化性能およびデータ品質指標にどのように影響を与えるか？

主な発見

• ログイット抑制と高温サンプリングはテキストの多様性を成功裏に向上させたが、ラベルの正確性とオリジナルデータセットとの類似性を著しく低下させた。
• オラクルスタディにおいて、ラベル置換により、多様化されたLLM生成データで訓練されたモデルの絶対的正確性が14.4%向上した。
• 180件のラベル置換を施した場合、LLM生成データで訓練されたモデルはGPT-3の少しだけの例示分類の性能を上回った。
• スコープ外フィルタリングはモデル正確性を向上させず、多様性を低下させる場合もあり、明確な基準がなければ効果的な戦略とは言えないことが示唆された。
• 多様化とラベル置換の組み合わせは、補正なしまたはフィルタリング済みのデータよりも、より安定的かつ高い性能を示すモデルを生み出した。
• スコープ外フィルタリングはデータ品質指標にほとんど影響を与えず、95%信頼区間内では、ラベル正確性、多様性、類似性にわずかまたは顕著でない変化しか見られなかった。

Figure 2: Impact of logit suppression and high temperatures on model accuracy, label accuracy, diversity, and similarity to the oracle dataset, averaged across eight tasks. Bars without hatches start generation without examples while those with hatches start with few-shot generation. Throughout this