[論文レビュー] GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer

Urchade Zaratiana, Nadi Tomeh+2 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用数 6

ひとこと要約

GLiNER は、共有潜在空間内のエンティティタイプ埋め込みとスパン表現のマッチングタスクとしてエンティティ認識を扱う、コン act で双方向のトランスフォーマーに基づくゼロショット命名エンティティ認識（NER）用モデルである。GLiNER は、ファインチューニングされた LLM や ChatGPT よりもゼロショット NER ベンチマークで優れた性能を発揮するとともに、高速で並列処理が可能であり、リソース制約のある環境でも効率的である。

ABSTRACT

Named Entity Recognition (NER) is essential in various Natural Language Processing (NLP) applications. Traditional NER models are effective but limited to a set of predefined entity types. In contrast, Large Language Models (LLMs) can extract arbitrary entities through natural language instructions, offering greater flexibility. However, their size and cost, particularly for those accessed via APIs like ChatGPT, make them impractical in resource-limited scenarios. In this paper, we introduce a compact NER model trained to identify any type of entity. Leveraging a bidirectional transformer encoder, our model, GLiNER, facilitates parallel entity extraction, an advantage over the slow sequential token generation of LLMs. Through comprehensive testing, GLiNER demonstrate strong performance, outperforming both ChatGPT and fine-tuned LLMs in zero-shot evaluations on various NER benchmarks.

研究の動機と目的

• 事前に定義されたラベルが不要な任意のエンティティタイプを認識できる汎用的 NER モデルの開発。
• 自己回帰的 LLM が抱える課題、たとえば逐次的生成による遅さや計算コストの高さを克服すること。
• より小さい双方向トランスフォーマー構造を用いて、効率的で並列処理可能なエンティティ抽出を実現すること。
• 多様なドメインや低リソース言語において、ゼロショット性能を向上させること。
• ネガティブエンティティタイプのサンプリングやエンティティタイプのドロップといったデータ拡張技術を通じて、モデルのロバスト性を向上させること。

提案手法

• GLiNER は、エンティティタイププロンプトとソーステキストの統一された入力系列から文脈に応じたトークン表現を生成するために、双方向トランスフォーマーエンコーダー（例：BERT や deBERTa）を用いる。
• モデルは、トークン表現を用いて入力テキスト内に存在するすべての可能なスパンの密度のある埋め込みを計算するスパン表現モジュールを採用する。
• エンティティタイププロンプトは、専用のエンティティ表現モジュールを介して共有潜在空間に埋め込まれる。
• スパン表現とエンティティ埋め込みの間のマッチングスコアは、ドット積を計算した後、シグモイド活性化関数を用いて算出され、エンティティタイプの予測に用いられる。
• 学習時、50% の割合でネガティブエンティティタイプがサンプリングされ、精度を向上させるとともに誤検出を低減する。
• 学習時、各入力に対してランダムに一部のエンティティプロンプトがマスクされるエンティティタイプドロップが適用され、入力の複雑さの変動に強いモデルのロバスト性が向上する。

Figure 1: BiLM for Open NER. Previous models, such as UniNER (Zhou et al., 2023 ) (Fig. a), approach the task of open type NER by prompting LLMs with natural language instructions (using a multi-turn dialogue style). Our proposed GLiNER utilizes small bidirectional LMs and treats the NER task as mat

実験結果

リサーチクエスチョン

• RQ1 双方向トランスフォーマーに基づくコンパクトで自己回帰的でないモデルは、大規模な自己回帰的 LLM よりもゼロショット NER で優れた性能を発揮できるか？
• RQ2 潜在空間内でのマッチングタスクとして NER を扱うことで、自己回帰的生成と比較して、より高速で並列処理可能な推論が可能になるか？
• RQ3 ネガティブエンティティタイプのサンプリングは、オープンボリューム NER における精度と再現率のバランスにどのように影響するか？
• RQ4 トレーニング時に見られない低リソース言語において、多様でオープンドメインのデータでファインチューニングされたモデルが、どの程度一般化できるか？
• RQ5 エンティティタイプドロップのようなデータ拡張戦略は、ゼロショット一般化性能とロバスト性を向上させることができるか？

主な発見

• GLiNER は、複数のデータセットにおいて、ChatGPT やファインチューニングされた LLM よりも高い F1 スコアを達成し、ゼロショット NER ベンチマークで優れた性能を発揮した。
• トレーニングデータが 1 データセットあたり 100 サンプルに制限された状況でも、5.6% の性能向上を達成し、優れた少サンプル一般化性能を示した。
• ネガティブエンティティタイプを 50% の割合でサンプリングした場合、精度（62.3%）と再現率（59.7%）のバランスが最良となり、0% や 75% のサンプリング戦略を上回った。
• トレーニングデータに含まれない 10 か国の低リソース言語のうち 8 か国において、GLiNER は ChatGPT を上回り、強力なゼロショット多言語一般化性能を示した。
• 学習時にエンティティタイプドロップを適用することで、オフドメイン評価の性能が平均して 1.4 F1 ポints 以上向上した。
• Pile-NER データセットでの事前学習により、特にデータが少ない状況でも性能が著しく向上し、大規模かつ多様なデータからの正のトランスファーが成功した。

Figure 2: Model architecture . GLiNER employs a BiLM and takes as input entity type prompts and a sentence/text. Each entity is separated by a learned token [ENT] . The BiLM outputs representations for each token. Entity embeddings are passed into a FeedForward Network, while input word representati