[論文レビュー] Is GPT-3 a Good Data Annotator?

Bosheng Ding, Chengwei Qin+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 15

ひとこと要約

この論文は、自然言語処理（NLP）タスクにおけるデータアノテーターとしてのGPT-3の有効性を評価し、3つのプロンプトベースの手法—直接アノテーション、生成ベース、few-shotプロンプト—を、シーケンスレベルおよびトークンレベルのタスクで比較している。生成ベースのアプローチは、大きなラベル空間に対してよりコスト効率が良く、スケーラブルであることが判明した一方で、直接アノテーションは小さなラベル空間に対して優れている。GPT-3がリソース制約下の低コストでスケーラブルなデータアノテーションに適していることが示された。

ABSTRACT

Data annotation is the process of labeling data that could be used to train machine learning models. Having high-quality annotation is crucial, as it allows the model to learn the relationship between the input data and the desired output. GPT-3, a large-scale language model developed by OpenAI, has demonstrated impressive zero- and few-shot performance on a wide range of NLP tasks. It is therefore natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.

研究の動機と目的

• GPT-3をNLPタスクの汎用的データアノテーターとして使用する可能性を評価すること。
• 直接アノテーション、生成ベース、few-shotプロンプトの3つのGPT-3ベースのアノテーション手法の、性能、コスト、時間効率を比較すること。
• GPT-3が伝統的なアノテーションを上回る条件、特にリソースが限られた中小組織や個人にとっての有効性を特定すること。
• GPT-3のシーケンスレベル（例：テキスト分類）およびトークンレベル（例：NER）タスクにおける性能を評価すること。
• GPT-3の多言語アノテーション能力と、ドメイン固有の知識の保持度を調査すること。

提案手法

• 3つのアノテーションアプローチを評価：(1) クラス名を用いた直接プロンプトベースのラベル付け、(2) GPT-3が入力をもとに完全なアノテーションを生成する生成ベースのプロンプト、(3) サンプル例を含むfew-shotプロンプト。
• SST-2（センチメント分類）、FewRel（関係分類）、NER（固有表現抽出）の複数のNLPベンチマークで実験を実施し、英語および非英語言語を含む。
• コストと時間は、APIコールの費用と処理時間を推定することで測定され、手動アノテーション時間は計算に含めない。
• 曖昧さを最小限に抑え、一貫性を最大化するよう、ゼロショットおよび最大2ショットの例を含む、慎重に設計されたプロンプトを用いた。
• GPT-3（instruct-turbo）をOpenAIのAPI経由で使用し、評価指標にはテスト分割における正確度とF1スコアを用いた。
• アブレーションスタディおよびケーススタディを実施し、ラベル空間のサイズや言語タイプに応じた性能の違いを分析した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3は、NLPタスクの学習データ作成において、人間のアノテーターに効果的に置き換え可能か？
• RQ2 直接アノテーション、生成ベース、few-shotの各プロンプト戦略は、正確度、コスト、時間の観点でどのように比較されるか？
• RQ3 GPT-3は、小さなラベル空間（例：二値分類）のタスクか、大きなラベル空間（例：関係分類）のタスクのどちらに対してより効果的か？
• RQ4 GPT-3は、低リソース言語においても多言語アノテーションにどの程度効果を発揮するか？
• RQ5 GPT-3が記憶したドメイン固有の知識は、アノテーション品質をどの程度向上させるか？

主な発見

• 生成ベースのプロンプトは、FewRel（関係分類）のような大きなラベル空間のタスクで、直接アノテーションを上回る正確度を達成した。ゼロショット設定下で6000サンプルでF1スコア80.15%を記録した。
• 直接アノテーションは、SST-2（センチメント分類）のような小さなラベル空間のタスクで、生成ベースの手法を上回った。ゼロショット設定下で6000サンプルで正確度87.31%を達成した。
• 生成ベースのアプローチは著しくコスト効率が良く、同じ条件下で6000サンプルのアノテーションに$1.61のコストで済んだ。一方、直接アノテーションは$6.21のコストがかかる。
• GPT-3は多言語処理能力に優れ、中国語NERおよびフランス語テキスト分類のアノテーションを成功裏に実施し、人間レベルの一貫性と同等の性能を示した。
• GPT-3はドメイン固有の知識を強く記憶しており、複雑な事実関係や地理的関係についても正確なアノテーションを出力した。
• 並列処理（5プロセス）を用いることで、最大50%の処理時間短縮が達成され、ゼロショット設定下で直接アノテーションで6000サンプルを処理するのに27分を要した。