[論文レビュー] P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models

Guochao Jiang, Zepeng Ding+2 more|arXiv (Cornell University)|May 8, 2024

Topic Modeling被引用数 6

ひとこと要約

P-ICLは、各タイプごとに点 entities をプロンプトに注入することで、LLMsを用いたNERを強化し、標準的なICLに比べてエンティティタイプの理解と分類を向上させる。点エンティティは encoder 表現上のK-Meansクラスタリングによって選択される。

ABSTRACT

In recent years, the rise of large language models (LLMs) has made it possible to directly achieve named entity recognition (NER) without any demonstration samples or only using a few samples through in-context learning (ICL). However, standard ICL only helps LLMs understand task instructions, format and input-label mapping, but neglects the particularity of the NER task itself. In this paper, we propose a new prompting framework P-ICL to better achieve NER with LLMs, in which some point entities are leveraged as the auxiliary information to recognize each entity type. With such significant information, the LLM can achieve entity classification more precisely. To obtain optimal point entities for prompting LLMs, we also proposed a point entity selection method based on K-Means clustering. Our extensive experiments on some representative NER benchmarks verify the effectiveness of our proposed strategies in P-ICL and point entity selection.

研究の動機と目的

• NERにおける標準的なICLの限界を指摘する。特に、明示的なエンティティタイプおよびエンティティ分類情報の欠如。
• NER性能を向上させるために、各エンティティタイプに対して点エンティティを注入するP-ICLを提案する。
• タイプごとに代表的な点エンティティを選択するK-Meansベースの手法を開発する。
• 複数のNERベンチマークとLLMでP-ICLを実証的に検証する。

提案手法

• プロンプト内でエンティティタイプセマンティクスを伝えるため、エンティティタイプごとの典型例として点在エンティティを導入する。
• 各タイプ（PER、ORG、LOC、MISC）ごに点在エンティティを列挙する正式なプロンプト方式を定義する。
• BERT風のエンコーダやリトリーバルベースのエンコーダを用いてエンティティ表現を取得し、K-Meansを適用して中心を識別する。
• センター ベクトルとエンティティ表現間の類似度を最大化することで、クラスタの中心を実際の点在エンティティにマッピングする。
• 複数のLLMとデータセットに対して、P-ICLのバリアント（ランダムに選択した点在エンティティとK-Means選択の点在エンティティ）を標準ICLと比較する。
• ゼロショットおよびフューショット設定を用いて実験を行い、点在エンティティの数と中心の数が性能に及ぼす影響を分析する。

(a) Standard In-Context Learning

実験結果

リサーチクエスチョン

• RQ1 プロンプト内の点在エンティティは、標準的なICLを超えてLLMのNER精度を向上させることができるか？
• RQ2 点在エンティティのK-Meansベースの選択は、ランダム選択より良い性能をもたらすか？
• RQ3 タイプごとの点在エンティティの数とデモンストレーションの数は、データセットとモデル全体でNER性能にどう影響するか？
• RQ4 点在エンティティ表現のエンコーダを異なるものにすると最終結果へどの影響があるか？

主な発見

Method	CoNLL2003	WNUT2017	ACE2004	ACE2005	Avg.
ノーマル	37.38	6.31	19.01	17.26	19.99
Standard ICL 3-shot	45.93	8.76	28.22	25.42	27.08
Standard ICL 5-shot	48.10	10.11	30.54	27.90	29.16
Standard ICL 10-shot	51.00	12.56	32.42	30.94	31.73
Standard ICL 20-shot	51.12	11.37	32.93	29.78	31.30
P-ICL random 5+3-shot	46.37	10.62	31.09	28.79	29.22
P-ICL random 10+3-shot	45.85	11.00	30.74	28.91	29.13
P-ICL random 5+5-shot	48.87	11.67	31.13	31.33	30.75
P-ICL random 10+5-shot	48.53	12.64	33.26	31.06	31.37
P-ICL random 5+10-shot	53.09	13.49	35.92	34.57	34.27
P-ICL random 10+10-shot	53.07	13.09	35.37	35.04	34.14
P-ICL random 5+20-shot	56.50	14.85	37.02	36.69	36.27
P-ICL random 10+20-shot	56.67	14.26	36.01	35.22	35.54
P-ICL bert 5+3-shot	50.59	12.54	32.18	31.27	31.66
P-ICL bert 10+3-shot	48.59	13.00	33.67	30.69	31.49
P-ICL bert 5+5-shot	51.81	14.55	36.08	34.03	34.12
P-ICL bert 10+5-shot	50.02	13.75	37.12	33.59	33.62
P-ICL bert 5+10-shot	56.18	15.36	36.77	36.78	36.27
P-ICL bert 10+10-shot	54.42	15.06	37.82	36.14	35.86
P-ICL bert 5+20-shot	59.12	16.92	39.38	38.60	38.50
P-ICL bert 10+20-shot	58.70	16.19	41.18	38.34	38.60

• P-ICLは、等しいデモンストレーション数で4つのNERベンチマークにおいて標準ICLを一貫して上回る。
• K-Meansベースの選択(P-ICL bert)を使用すると、ランダム点在選択(P-ICL random)より良い結果が得られる。
• タイプごとの点在エンティティ数を増やすことは一般に効果的だが、ある点を境に結果が揺らぎ、冗長性の可能性が原因となる。
• リトリーバルベースのエンコーダ（BGE-large, mxba i-embed-large）は、点在エンティティ表現に対して従来のBERT風エンコーダよりも優れている。
• GPT-3.5 Turbo、LLaMA-2-70B、Mixtral 8x7B の各モデルで有効性を実証。
• より代表的な点在エンティティを用いることで、多数のデモンストレーションを必要とせず、性能を維持できる可能性がある。

(b) Point In-Context Learning (P-ICL)