[論文レビュー] Large Language Models for Data Annotation and Synthesis: A Survey

Zhen Tan, Li, Dawei+8 more|arXiv (Cornell University)|Feb 21, 2024

Topic Modeling被引用数 35

ひとこと要約

このサーベイは、巨大言語モデル（LLMs）をデータ注釈と合成にどのように活用できるかを分析し、方法論、評価、LLM生成注釈を用いた学習、課題を扱う。

ABSTRACT

Data annotation and synthesis generally refers to the labeling or generating of raw data with relevant information, which could be used for improving the efficacy of machine learning models. The process, however, is labor-intensive and costly. The emergence of advanced Large Language Models (LLMs), exemplified by GPT-4, presents an unprecedented opportunity to automate the complicated process of data annotation and synthesis. While existing surveys have extensively covered LLM architecture, training, and general applications, we uniquely focus on their specific utility for data annotation. This survey contributes to three core aspects: LLM-Based Annotation Generation, LLM-Generated Annotations Assessment, and LLM-Generated Annotations Utilization. Furthermore, this survey includes an in-depth taxonomy of data types that LLMs can annotate, a comprehensive review of learning strategies for models utilizing LLM-generated annotations, and a detailed discussion of the primary challenges and limitations associated with using LLMs for data annotation and synthesis. Serving as a key guide, this survey aims to assist researchers and practitioners in exploring the potential of the latest LLMs for data annotation, thereby fostering future advancements in this critical field.

研究の動機と目的

• NLPタスク全体にわたるデータ注釈を自動化・改善するためのLLMsの活用を促進する。
• LLMベースのデータ注釈方法論と prompting 戦略の分類を提供する。
• LLM生成注釡を用いた、あるいはそれらで訓練されたモデルの学習パラダイムを検討する。
• LLM生成注釈の評価手法と高品質なサンプルの選択方法について議論する。
• データ注釈のためのLLMsの展開における課題と倫理的配慮を特定する。

提案手法

• LLMsを注釈者として、従来型モデルを学習者とする注釈者モデルおよびタスク学習者モデルを定義する。
• 手動で設計されたプロンプト、対比較フィードバックによる整列、および prompting 技術（IO、ICL、CoT、IT、AT）を含む、LLMベースのデータ注釈手法の分類を提示する。
• 直接利用、知識蒸留、およびファインチューニング/プロンプティングアプローチを含む、LLM生成注釈を用いた学習を説明する。
• 人間主導および自動化手法を含む、LLM生成注釈の評価フレームワークを議論し、取得関数またはオラクル注釈者としてのLLMsを用いたアクティブ・ラーニングについても述べる。
• 幻覚、サンプリングバイアス、労働の置換、社会的影響など、課題と倫理的配慮の概要を示す。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクにおけるデータ注釈者としてのLLMsの主要な方法論は何か？
• RQ2 LLM生成注釈をどのように評価し、学習パイプラインに統合できるか？
• RQ3 データ注釈タスクのためのプロンプティング、チューニング、LLMsの整合性を取るための最良の実践は何か？
• RQ4 LLMベースのデータ注釈システムを展開する際に生じる課題と倫理的配慮は何か？

主な発見

• LLMsは従来のラベルを超える補助信号を提供することで、データ注釈を自動化・改善できる。
• 包括的な分類は、手動設計プロンプトから整合チューニングおよび指示チューニング戦略までの方法を捉える。
• LLM生成注釈は、監視付き学習に直接使用するほか、小型モデルへの知識蒸留、あるいは下流モデルのファインチューニング/プロンプティングに使用できる。
• 取得関数またはオラクル注釈者としてのLLMsを用いたアクティブ・ラーニングは、サンプル効率を向上させる。
• LLM生成注釈の評価には、人間ベンチマーク、タスク特異的な指標、アクティブ・ラーニングなどのデータ選択戦略が含まれる。