[논문 리뷰] Empirical Study of Zero-Shot NER with ChatGPT

Tingyu Xie, Qi Li외 4명|arXiv (Cornell University)|2023. 10. 16.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 ChatGPT를 활용한 제로샷 명명된 실체 인식(NER) 성능 향상을 위해 분해된 질문-답변, 문법적 프롬프팅, 도구 보강, 이단계 자율일致성 투표의 네 가지 추론 강화 전략을 제안하고 평가한다. 이 방법들은 다국어 및 도메인 특화 데이터셋을 포함한 일곱 가지 다양한 벤치마크에서 성능을 크게 향상시키며, 대규모 언어 모델에서 강력한 제로샷 NER 능력을 발휘할 수 있음을 보여준다.

ABSTRACT

Large language models (LLMs) exhibited powerful capability in various natural language processing tasks. This work focuses on exploring LLM performance on zero-shot information extraction, with a focus on the ChatGPT and named entity recognition (NER) task. Inspired by the remarkable reasoning capability of LLM on symbolic and arithmetic reasoning, we adapt the prevalent reasoning methods to NER and propose reasoning strategies tailored for NER. First, we explore a decomposed question-answering paradigm by breaking down the NER task into simpler subproblems by labels. Second, we propose syntactic augmentation to stimulate the model's intermediate thinking in two ways: syntactic prompting, which encourages the model to analyze the syntactic structure itself, and tool augmentation, which provides the model with the syntactic information generated by a parsing tool. Besides, we adapt self-consistency to NER by proposing a two-stage majority voting strategy, which first votes for the most consistent mentions, then the most consistent types. The proposed methods achieve remarkable improvements for zero-shot NER across seven benchmarks, including Chinese and English datasets, and on both domain-specific and general-domain scenarios. In addition, we present a comprehensive analysis of the error types with suggestions for optimization directions. We also verify the effectiveness of the proposed methods on the few-shot setting and other LLMs.

연구 동기 및 목표

• 제로샷 추론 능력이 있는 ChatGPT의 명명된 실체 인식(NER)에 대한 성능을 조사하는 것.
• 피팅 튜닝 없이도 대규모 언어 모델(LLM)이 구조적 예측 작업인 NER에서 어떻게 작동하는지 이해하는 데 미치는 격차를 메우는 것.
• LLM의 추론을 자극하기 위해 새로운 프롬프팅 및 추론 전략을 설계하고 평가하여 제로샷 NER 성능을 향상시키는 것.
• LLM 기반 NER의 오류 유형과 최적화 방향에 대한 종합적 분석을 제공하는 것.
• 제안된 방법이 제로샷 외에도 소수의 샘플 설정과 다른 LLM에서도 유효한지 검증하는 것.

제안 방법

• 분해된 질문-답변: NER를 레이블별 하위 작업으로 나누어, 모델이 한 번에 하나의 레이블에 대해 실체를 추출하도록 유도한다.
• 문법적 프롬프팅: 실체를 식별하기 전에 문법적 구조(예: 품사 태그, 의존성 트리) 분석을 유도한다.
• 도구 보강: 모델의 입력으로 외부 문법 분석 출력(예: 품사 태그, 의존성 트리)을 제공하여 추론 능력을 향상시킨다.
• 이단계 다수결 투표: 다수의 모델 생성 결과에서 일관된 실체 언급을 먼저 집계한 후, 일관된 실체 유형에 대해 투표를 수행함으로써 자율일치성을 적용한다.
• 이러한 방법들은 피팅 튜닝이나 레이블된 예시 없이 제로샷 설정에서 적용된다.
• 이 접근법은 일반 도메인과 도메인 특화 도메인의 영어 및 중국어 데이터셋을 포함한 일곱 가지 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 체인 오브 썬드 및 자율일치성과 같은 구조적 추론 기법들이 LLM 기반 제로샷 NER에 효과적으로 적용될 수 있는가?
• RQ2 문법적 프롬프팅과 도구 보강된 구문 분석은 LLM 기반 NER의 추론 과정을 어떻게 향상시키는가?
• RQ3 분해된 질문-답변 전략이 제로샷 설정에서 실체 인식 성능에 어떤 영향을 미치는가?
• RQ4 LLM 기반 NER의 오류 패턴은 도메인과 언어에 따라 어떻게 달라지며, 이를 바탕으로 향후 최적화에 어떤 통찰을 제공하는가?
• RQ5 제안된 방법들은 ChatGPT 외의 다른 LLM과 소수의 샘플 설정에서도 일반화 가능한가?

주요 결과

• 제안된 방법들은 일반 도메인과 도메인 특화 데이터셋을 포함한 일곱 가지 벤치마크에서 제로샷 NER 성능을 크게 향상시킨다.
• 문법적 프롬프팅과 도구 보강은 모델의 중간 추론 단계를 향상시켜 일관되게 성능 향상을 이룬다.
• 이단계 자율일치성 전략은 먼저 일관된 언급을 집계한 후 실체 유형에 대해 투표하기 때문에 표준 자율일치성보다 뛰어난 성능을 보인다.
• 이 방법은 영어 및 중국어 NER 데이터셋 모두에서 뛰어난 성능을 기록하여 다국어 일반화 능력을 입증한다.
• 오류 분석 결과 과다 언급 및 잘못된 분류와 같은 공통적인 실패 유형이 드러나 향후 개선 방향을 제시한다.
• 이 전략들은 소수의 샘플 설정과 다른 LLM으로도 효과적으로 일반화되어 ChatGPT 외의 환경에서도 강건함을 입증한다.