[논문 리뷰] VicunaNER: Zero/Few-shot Named Entity Recognition using Vicuna

Bin Ji|arXiv (Cornell University)|2023. 05. 05.

Topic Modeling인용 수 7

한 줄 요약

VicunaNER는 오픈소스 LLM인 Vicuna를 기반으로 한 제로- 및 희소-샷 명명된 실체 인식 프레임워크로, 두 단계의 다단계 대화 방식을 사용한다: 첫 번째 단계인 인식에서는 실체를 식별하고, 두 번째 단계인 재인식에서는 첫 번째 단계에서 놓친 실체를 복구한다. 이 프레임워크는 10개의 제로-샷 데이터셋과 Few-NERD에서 최신 기술 수준의 성능을 달성하며, API 기반 LLM에서 흔히 발생하는 데이터 泄露 및 재현 불가 문제를 피하면서도 ChatGPT 기반 방법보다도 뛰어난 성능을 보인다.

ABSTRACT

Large Language Models (LLMs, e.g., ChatGPT) have shown impressive zero- and few-shot capabilities in Named Entity Recognition (NER). However, these models can only be accessed via online APIs, which may cause data leak and non-reproducible problems. In this paper, we propose VicunaNER, a zero/few-shot NER framework based on the newly released open-source LLM -- Vicuna. VicunaNER is a two-phase framework, where each phase leverages multi-turn dialogues with Vicuna to recognize entities from texts. We name the second phase as Re-Recognition, which recognizes those entities not recognized in the first phase (a.k.a. Recognition). Moreover, we set entity correctness check dialogues in each phase to filter out wrong entities. We evaluate VicunaNER's zero-shot capacity on 10 datasets crossing 5 domains and few-shot capacity on Few-NERD. Experimental results demonstrate that VicunaNER achieves superior performance in both shot settings. Additionally, we conduct comprehensive investigations on Vicuna from multiple perspectives.

연구 동기 및 목표

• API 기반 LLM(예: ChatGPT)을 사용할 경우 발생하는 데이터 泄露 및 재현 불가 문제를 해결하기 위한 것이다.
• 기타 전용 API에 의존하지 않고 오픈소스 LLM을 활용하여 제로- 및 희소-샷 NER 프레임워크를 개발하기 위한 것이다.
• 실체를 놓치는 것을 복구하기 위해 두 단계의 대화 기반 메커니즘을 도입함으로써 실체 인식 성능을 향상시키기 위한 것이다.
• Vicuna의 사실적 정확성 및 실체 경계/유형 정확성에 대한 한계를 조사하기 위한 것이다.
• 기존의 LLM 기반 NER 시스템에 비해 재현 가능하고 로컬에서 배포 가능한 대안을 제공하기 위한 것이다.

제안 방법

• 프레임워크는 Vicuna를 사용한 두 단계의 다단계 대화 시스템을 사용하며, 각 단계에서 실체 인식과 정확성 검증을 수행한다.
• 인식 단계에서는 실체 유형 설명을 기반으로 Vicuna가 텍스트에서 실체를 추출하도록 프롬프트를 제공하고, 별도의 대화를 통해 정확성 검증을 실시한다.
• 재인식 단계에서는 첫 번째 단계에서 놓친 실체를 식별하도록 Vicuna를 프롬프트하며, 이전에 인식된 실체들을 맥락으로 활용하여 복구를 유도한다.
• 정확성 검증은 두 단계 모두에 적용되어, 잘못된 실체 유형이나 비실체 범위의 오진을 걸러내는 데 기여한다.
• 두 단계에서 생성된 실체 목록은 중복 제거 후 통합되어 최종 NER 출력을 도출한다.
• 시스템은 전용 LLM API 의존을 피하고 데이터 프라이버시 및 재현 가능성을 보장하기 위해 로컬에서 배포 가능한 방식으로 설계되어 있다.

Figure 1: The architecture of VicunaNER. It is composed of two phases namely Recognition and Re-Recognition , and each phase consists of multi-turn dialogues with Vicuna. We use a zero-shot NER example to describe the workflow. Texts in the gray background are prompts; entity lists in the red backgr

실험 결과

연구 질문

• RQ1 Vicuna와 같이 로컬에서 배포 가능한 오픈소스 LLM이 전용 API 의존 없이도 제로- 및 희소-샷 NER 성능에서 경쟁력을 확보할 수 있는가?
• RQ2 재인식 기반의 두 단계 대화 프레임워크가 단일 단계 방식에 비해 실체 복구 성능을 뚜렷이 향상시키는가?
• RQ3 Vicuna의 사실적 일관성 결여가 NER 성능에 어떤 영향을 미치며, 다단계 정확성 검증이 이러한 오류를 완화할 수 있는가?
• RQ4 VicunaNER의 성능이 특히 제로-샷 설정에서 기존의 LLM 기반 NER 프레임워크(예: ChatIE)보다 뛰어나다고 할 수 있는가?
• RQ5 최적의 재인식 단계 수는 얼마이며, 더 많은 단계를 추가할 경우 성능 향상이 유의미하게 발생하는가?

주요 결과

• Vicuna가 ChatGPT만큼 강력하지 않음에도 불구하고, xxx개의 xxx개 제로-샷 데이터셋 중 xxx개에서 ChatGPT 기반의 ChatIE를 능가한다.
• Few-NERD의 희소-샷 설정에서 VicunaNER는 LLM 기반 프레임워크와 프로토타입 네트워크 기반 기준선을 일관되게 능가한다.
• 재인식 단계는 첫 번째 인식 단계에서 놓친 실체를 복구함으로써 재현율을 뚜렷이 향상시킨다.
• 다단계 정확성 검증은 실체 유형 오류 및 오진을 효과적으로 걸러내어 정밀도를 향상시키면서도 재현율을 유지한다.
• 한 번 이상의 재인식 단계를 추가로 도입할 경우 성능 향상 폭은 미미하지만 추론 시간은 상당히 증가한다.
• 이 프레임워크는 데이터 泄露 위험이 없는 완전히 재현 가능한 온프레미스 NER를 가능하게 한다. 이는 API 기반 LLM과는 대조된다.