[論文レビュー] Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost

Parikshit Bansal, Amit Sharma|arXiv (Cornell University)|Jun 27, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いて最も有益な未ラベル付き入力を自動ラベル付ける、新たなアクティブラーニング戦略を提案する。予測スコアの乖離を測定することで、ベースモデルと微調整済みNLPモデルの間の「条件付き情報性」と呼ばれる指標を用い、誤分類の可能性が高いために選択される入力を特定することで、ラベルコストを最小限に抑えつつ、NLPモデルの汎化性能を向上させる。この手法により、意味的類似性および意味的検索タスクにおけるドメイン内および低データ量ターゲットドメインで顕著な精度向上が達成された。

ABSTRACT

State-of-the-art supervised NLP models achieve high accuracy but are also susceptible to failures on inputs from low-data regimes, such as domains that are not represented in training data. As an approximation to collecting ground-truth labels for the specific domain, we study the use of large language models (LLMs) for annotating inputs and improving the generalization of NLP models. Specifically, given a budget for LLM annotations, we present an algorithm for sampling the most informative inputs to annotate and retrain the NLP model. We find that popular active learning strategies such as uncertainty-based sampling do not work well. Instead, we propose a sampling strategy based on the difference in prediction scores between the base model and the finetuned NLP model, utilizing the fact that most NLP models are finetuned from a base model. Experiments with classification (semantic similarity) and ranking (semantic search) tasks show that our sampling strategy leads to significant gains in accuracy for both the training and target domains.

研究の動機と目的

• 未学習ドメインや希少な意味的パターンのような低データ環境における教師ありNLPモデルの一般化性能の低さを解決すること。
• LLMを効率的なラベラーとして活用することで、人的データラベル付けの高コストを低減すること。
• 従来のアクティブラーニング戦略（例：不確実性サンプリング）に依存せずに、LLMによるラベル付けを用いてモデルの一般化性能を向上させること。
• ベースモデルと微調整済みモデルのスコアの乖離に基づいて、LLMラベル付けに最適な入力を実用的かつスケーラブルに選択する手法を開発すること。

提案手法

• ベースモデル（例：BERT）と微調整済みNLPモデルの予測スコアの乖離を定量化する新しいサンプリング指標「条件付き情報性」を提案する。
• 固定されたLLMクエリ予算内で、条件付き情報性が最大の入力を選択する。
• LLMがラベル付けしたデータを用いて、微調整済みNLPモデルを再訓練し、トレーニングドメインおよびターゲットドメインでの性能を向上させる。
• 二段階のプロセスを採用する：まず、未ラベル付き入力全体に対してスコアの乖離を計算し、次に上位k個の入力をLLMラベル付けのために選択する。
• 微調整済みモデルは通常、ベースモデルから微調整されるため、スコアの比較によって影響力の高いサンプルを特定できるという事実を活用する。
• ターゲットドメインにおける精度を評価する際、Precision@1 (P@1) を用い、ベースモデル、微調整済みモデル、およびランダムサンプリングのベースラインと比較する。

Figure 1: Enhanced Generalization using LLM Annotations. Illustration of our algorithm using the duplicate question detection task. We propose a sampling strategy based on deviation of an NLP model’s similarity score from the base model, called (base model) -conditional informativeness. Inputs are s

実験結果

リサーチクエスチョン

• RQ1 LLMを用いたラベル付けは、低データ環境下でのNLPモデルの一般化性能を顕著に向上させることができるか？
• RQ2 人的ラベルではなくLLMラベルを用いる場合、不確実性ベースのアクティブラーニングは依然として有効であるか？
• RQ3 ベースモデルと微調整済みモデルのスコア乖離に基づく指標は、LLMラベル付け環境において不確実性ベースのサンプリングを上回る性能を示せるか？
• RQ4 LLMラベル付けされたモデルの性能は、人的ラベル付けのベースラインと比較して、ターゲットドメインで優れているか？
• RQ5 どのドメインでLLMラベル付けが顕著な向上をもたらし、またどのような状況では効果が得られないか？

主な発見

• 条件付き情報性は不確実性ベースのサンプリングを上回り、同じ数のLLMラベル付けでより高い精度向上を達成した。
• Quoraデータセットにおいて、LLMラベル付けされたモデルは、WikipediaのUSAターゲットドメインで9.57 P@1を達成した。これは、トレーニングセットのみを用いたベースモデル（12.33）および微調整済みモデル（12.54）を上回った。
• AmazonのBooksドメインでは、LLMラベル付けを用いた結果、9.48 P@1を達成し、ベースモデル（16.78）および微調整済みモデル（17.37）を著しく上回った。
• AmazonのKitchenドメインでは、LLMラベル付けによる改善が認められず、ベースモデルが32.91 P@1を達成し、LLMデータを用いた微調整済みモデルと同等の性能であった。これはドメイン依存の有効性を示している。
• 最適なサンプリングしきい値は、条件付き情報性で上位40%の入力として特定された。これは、全ドメインおよびターゲットドメインの精度をバランスよく向上させる。
• LLMラベル付けはランダムサンプリングよりも顕著な向上をもたらした。特に、語彙的パターンを超えた世界知識が求められる分野（例：書籍推薦）において顕著であった。

(a) LLM-annotated