[論文レビュー] VicunaNER: Zero/Few-shot Named Entity Recognition using Vicuna

Bin Ji|arXiv (Cornell University)|May 5, 2023

Topic Modeling被引用数 7

ひとこと要約

VicunaNER は、オープンソース LLM の Vicuna を基盤として構築されたゼロショットおよびフェイントショット Named Entity Recognition フレームワークであり、2段階のマルチターン対話アプローチを採用する。第1段階の Recognition ではエンティティを特定し、第2段階の Re-Recognition では初期段階で見逃されたエンティティを回復する。10個のゼロショットデータセットおよび Few-NERD において、APIベースの LLM に起因するデータ漏洩れや再現不能性の問題を回避しながら、ChatGPT ベースの手法を上回る最先端の性能を達成する。

ABSTRACT

Large Language Models (LLMs, e.g., ChatGPT) have shown impressive zero- and few-shot capabilities in Named Entity Recognition (NER). However, these models can only be accessed via online APIs, which may cause data leak and non-reproducible problems. In this paper, we propose VicunaNER, a zero/few-shot NER framework based on the newly released open-source LLM -- Vicuna. VicunaNER is a two-phase framework, where each phase leverages multi-turn dialogues with Vicuna to recognize entities from texts. We name the second phase as Re-Recognition, which recognizes those entities not recognized in the first phase (a.k.a. Recognition). Moreover, we set entity correctness check dialogues in each phase to filter out wrong entities. We evaluate VicunaNER's zero-shot capacity on 10 datasets crossing 5 domains and few-shot capacity on Few-NERD. Experimental results demonstrate that VicunaNER achieves superior performance in both shot settings. Additionally, we conduct comprehensive investigations on Vicuna from multiple perspectives.

研究の動機と目的

• APIベースの LLM（例：ChatGPT）におけるデータ漏洩れおよび再現不能性の問題を解決すること。
• 特許権のない API に依存しないオープンソース LLM を活用したゼロショットおよびフェイントショット NER フレームワークの開発。
• エンティティ認識のパフォーマンスを向上させるために、二段階対話メカニズムを導入し、見逃されたエンティティを回復すること。
• Vicuna の事実の整合性およびエンティティ境界/タイプの正しさに関する限界を調査すること。
• 既存の LLM ベース NER システムの代替として、再現可能でローカルにデプロイ可能な代替手段を提供すること。

提案手法

• フレームワークは、Vicuna を用いた二段階のマルチターン対話システムを採用し、各段階でエンティティ認識と正しさの検証を実施する。
• Recognition 段階では、エンティティタイプの説明を提示することで Vicuna にテキストからのエンティティ抽出を実行させ、その後別々の対話で正しさのチェックを実施する。
• Re-Recognition 段階では、最初の段階で見逃されたエンティティを特定するように Vicuna をプロンプトし、事前に特定されたエンティティをコンテキストとして用いて回復を支援する。
• 両段階に正しさのチェックを適用し、誤ったエンティティタイプや非エンティティのスパンといった誤検出（偽陽性）をフィルタリングする。
• 両段階で得られたエンティティリストを重複を除去した後、統合して最終的な NER 出力を得る。
• システムはローカルにデプロイ可能に設計されており、特許権のない LLM API に依存せず、データプライバシーと再現性を確保する。

Figure 1: The architecture of VicunaNER. It is composed of two phases namely Recognition and Re-Recognition , and each phase consists of multi-turn dialogues with Vicuna. We use a zero-shot NER example to describe the workflow. Texts in the gray background are prompts; entity lists in the red backgr

実験結果

リサーチクエスチョン

• RQ1 ローカルにデプロイ可能でオープンソースの LLM（例：Vicuna）は、特許権のない API に依存せずに、競争力のあるゼロショットおよびフェイントショット NER のパフォーマンスを達成できるか？
• RQ2 Re-Recognition を含む二段階対話フレームワークは、単一段階アプローチと比較して、エンティティ回復を顕著に改善するか？
• RQ3 Vicuna の事実の整合性の欠如が NER パフォーマンスに与える影響は何か？また、マルチターンの正しさのチェックはこれらの誤りを緩和できるか？
• RQ4 VicunaNER のパフォーマンスは、ChatIE などの既存の LLM ベース NER フレームワークを上回るか、特にゼロショット設定においては？
• RQ5 最適な Re-Recognition 段階の数は何か？さらに段階を追加しても意味のあるパフォーマンス向上が得られるか？

主な発見

• VicunaNER は、Vicuna が ChatGPT よりも性能が低いにもかかわらず、xxx 個のゼロショットデータセットのうち xxx 個で ChatGPT ベースの ChatIE を上回った。
• Few-NERD のフェイントショット設定において、VicunaNER は LLM ベースのフレームワークおよびプロトタイプネットワークベースラインを一貫して上回った。
• Re-Recognition 段階により、初期の Recognition 段階で見逃された多数のエンティティが回復され、リCALL が顕著に向上した。
• マルチターンの正しさのチェックにより、エンティティタイプの誤りや偽陽性が効果的にフィルタリングされ、リCALL を損なわずに精度（Precision）が向上した。
• 1つより多くの Re-Recognition 段階を追加しても、パフォーマンス向上はわずかであり、推論時間は著しく増加した。
• このフレームワークにより、データ漏洩れのリスクがなく、完全に再現可能でオンプレミスでの NER が実現可能になった。