[論文レビュー] NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data

Sergei Bogdanov, Alexandre Constantin+3 more|arXiv (Cornell University)|Feb 23, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

本稿では、C4から抽出されたLLMによるアノテーションを施した24.4M語のデータセットを用いて、RoBERTaをファインチューニングすることで訓練された、固有表現認識（NER）のためのタスク特化型基礎モデル、NuNERを提案する。NuNERは、同サイズのモデルの中で最先端のFew-shot性能を達成しており、ベースモデルやNER-BERTのようなより大きなモデルを上回り、56倍も小さいにもかかわらずGPT-4のような大規模言語モデルと同等の性能を発揮する。

ABSTRACT

Large Language Models (LLMs) have shown impressive abilities in data annotation, opening the way for new approaches to solve classic NLP problems. In this paper, we show how to use LLMs to create NuNER, a compact language representation model specialized in the Named Entity Recognition (NER) task. NuNER can be fine-tuned to solve downstream NER problems in a data-efficient way, outperforming similar-sized foundation models in the few-shot regime and competing with much larger LLMs. We find that the size and entity-type diversity of the pre-training dataset are key to achieving good performance. We view NuNER as a member of the broader family of task-specific foundation models, recently unlocked by LLMs.

研究の動機と目的

• 人為的アノテーションに依存しない、データ効率的でタスク特化型の基礎モデルを、固有表現認識（NER）のためのものとして開発すること。
• LLMによるアノテーションデータが、下流のNERタスクのためのコンパクトなエンコーダーモデルを効果的に事前学習できるかどうかを調査すること。
• 得られたモデル、NuNERの性能を、大規模言語モデルや既存のNER特化型モデルと比較し、Few-shotおよびZero-shotの設定で評価すること。
• このようなタスク特化型基礎モデルの性能に影響を与える主な要因を特定すること。特に、データセットサイズとエンティティタイプの多様性に注目する。

提案手法

• GPT-3.5を用いて、C4データセットのサブセット（24.4M語）を、20万件のユニークなコンセプトをカバーするエンティティアノテーションでアノテートする。
• 表現学習の向上を目的として、対照的学習の目的関数を用いて、RoBERTa-baseモデルをLLMアノテーションデータセット上でファインチューニングする。
• Few-shotおよびZero-shotプロトコルを用いて、さまざまなNERベンチマークで、下流の分類ヘッドをファインチューニングすることで、分類器ヘッドを訓練する。
• 複数のデータセットを通じて、インライン学習およびファインチューニングの両方を用いて、NuNERの性能をGPT-3.5、GPT-4、UniversalNERと比較する。
• データセットサイズ、エンティティタイプの多様性、テキストの多様性がモデル性能に与える影響を体系的にアブレーションする。
• 分類ヘッドとして、ドロップアウトを含む2層のフィードフォワードネットワークを用い、ファインチューニング時に30エポックの訓練を実施する。

Figure 1: NuNER creation procedure. RoBERTa is further pre-trained on a subset of C4 automatically annotated by GPT-3.5. The resulting model can be fine-tuned on various downstream NER problems.

実験結果

リサーチクエスチョン

• RQ1 LLMによるアノテーションデータは、NERのためのコンパクトでタスク特化型の基礎モデルを効果的に事前学習できるか？
• RQ2 Few-shot NER設定において、NuNERの性能はGPT-3.5 や GPT-4 といった大規模言語モデルと比べてどうなるか？
• RQ3 データセットサイズ、エンティティタイプの多様性、テキストの多様性のうち、タスク特化型基礎モデルの性能に最も顕著な影響を与える要因は何か？
• RQ4 UniversalNERのようなより大きな生成型モデルと比較して、NuNERのような小型でエンコーダー型のモデルが同等またはそれを上回る性能を発揮できるか？
• RQ5 NuNERの事前学習手順は、最終層でのエンティティ表現の可視性を向上させ、Few-shotファインチューニングの効率を向上させるか？

主な発見

• NuNERは、ベースのRoBERTaモデルや同サイズのNER-BERT事前学習モデルをFew-shot設定で上回り、LLMアノテーションデータの有効性を示している。
• ファインチューニング時に1エンティティタイプあたり8語以上を用いる場合、NuNERはGPT-3.5を上回る性能を示し、GPT-4と同等の性能を発揮する。これは、大規模モデルにおけるインライン学習の限界を示唆している。
• 56倍も小さいにもかかわらず、NuNERは$64\sim128$語の設定で70.30±0.35のF1スコアを達成し、$k\sim2k$のFew-shot設定においてUniversalNERと同等の性能を発揮した。
• エンティティタイプの多様性とデータセットサイズが、NuNERの性能に最も大きな影響を与える要因であり、テキストの多様性は最小限の影響にとどまる。
• 対照的学習による事前学習手順は、最終ネットワーク層における人間の概念の出現を促進し、Few-shotファインチューニングの効率向上に寄与する可能性がある。
• NuNERは、RoBERTaの強力な即時置換代替として機能し、最小限の計算コストでより優れたFew-shot一般化性能を提供する。

Figure 4: Frequency of each concept assigned by GPT-3.5, sorted from most to least common. We observe a heavy-tailed distribution.