[논문 리뷰] Informed Named Entity Recognition Decoding for Generative Language Models

Tobias Deußer, Lars Hillebrand외 2명|arXiv (Cornell University)|2023. 08. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델을 사용하여 명명된 실체 인식(NER)을 생성적 과제로 간주하는 새로운 프레임워크인 iNERD를 제안한다. 특수 토큰을 사용한 구조적 생성 형식과 정보 기반 디코딩 전략을 통해 환각 현상을 방지하고 성능을 향상시킨다. 병합된 NER 코퍼스에서의 코arse-tuning과 특수 토큰을 통한 구조적 생성 형식 강제로, iNERD는 특히 zero-shot 및 오픈-보기어비전 설정에서 최신 기술 수준의 성능을 달성하며, 재학습 없이도 유연성과 내구성 면에서 기존의 인코더 중심 모델을 능가한다.

ABSTRACT

Ever-larger language models with ever-increasing capabilities are by now well-established text processing tools. Alas, information extraction tasks such as named entity recognition are still largely unaffected by this progress as they are primarily based on the previous generation of encoder-only transformer models. Here, we propose a simple yet effective approach, Informed Named Entity Recognition Decoding (iNERD), which treats named entity recognition as a generative process. It leverages the language understanding capabilities of recent generative models in a future-proof manner and employs an informed decoding scheme incorporating the restricted nature of information extraction into open-ended text generation, improving performance and eliminating any risk of hallucinations. We coarse-tune our model on a merged named entity corpus to strengthen its performance, evaluate five generative language models on eight named entity recognition datasets, and achieve remarkable results, especially in an environment with an unknown entity class set, demonstrating the adaptability of the approach.

연구 동기 및 목표

• 생성적 언어 모델과 추출 기반 NLP 과제(예: 명명된 실체 인식(NER)) 간 격차를 메우기 위해.
• 인코더 중심 모델이 동적 또는 알려지지 않은 실체 클래스를 처리하는 데 한계가 있음을 해결하기 위해, 디코더 중심 LLM의 언어 이해 능력을 활용하기 위해.
• 유효한 실체 구조로만 토큰 생성을 제한함으로써 환각을 방지하는 디코딩 전략을 개발하기 위해.
• 재학습 없이도 새로운 또는 알려지지 않은 실체 클래스에 대한 모델 적응성을 향상시키기 위해.

제안 방법

• 모델은 특수 토큰을 사용해 구조적 형식으로 텍스트를 생성한다: <CT>는 실체의 시작을 나타내고, <TCS>는 실체 유형과 내용을 분리하며, <ES>는 서로 다른 실체를 분리한다.
• 정보 기반 디코딩 알고리즘은 생성 중에 허용되지 않는 토큰을 마스킹함으로써, 유일하게 유효한 실체 스펙트럼만 생성되도록 보장하고 환각을 제거한다.
• 모델은 NER 과제를 위한 맥락 인식 능력을 향상시키기 위해 병합된 명명된 실체 코퍼스에서 코arse-tuning된다.
• 이 프레임워크는 어떤 디코더 중심 LLM과도 호환되어, 새로운 모델가 출시되더라도 미래 지향적이며 쉽게 업그레이드할 수 있다.
• 이 접근법은 NER를 시퀀스 생성 문제로 간주함으로써, 강력한 구조적 제약 조건을 갖춘 엔드 투 엔드 학습 및 추론을 가능하게 한다.
• 디코딩 과정은 고정된 출력 스키마를 강제로 적용하여 검색 공간을 줄이고 생성 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 사용하여 생성적 과제로 명명된 실체 인식을 효과적으로 재정의할 수 있는가? 성능 저하 없이 환각 현상이 발생하지 않는가?
• RQ2 구조적 제약 조건을 가진 정보 기반 디코딩은 표준 자동 회귀 생성 방식보다 NER 성능을 얼마나 향상시키는가?
• RQ3 병합된 NER 코퍼스에서의 코arse-tuning은 생성적 LLM의 zero-shot 및 few-shot 일반화 능력을 얼마나 향상시키는가?
• RQ4 기존의 인코더 중심 모델과 비교해 볼 때, iNERD 프레임워크는 알려지지 않은 또는 오픈-보기어비전 실체 클래스 설정에서 어떻게 성능을 내는가?
• RQ5 제안된 방법은 재학습 없이도 일반, 생물의학, 금융 텍스트와 같은 다양한 도메인에서 높은 성능을 유지할 수 있는가?

주요 결과

• iNERD 프레임워크는 CoNLL-2003, CoNLL++, 그리고 생물의학 및 금융 데이터셋을 포함한 여덟 개의 벤치마크 NER 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 정보 기반 디코딩만으로도 기본 모델에 적용했을 때 CoNLL-2003 및 CoNLL++에서 F1 점수가 약 4% 향상된다.
• 병합된 NER 코퍼스에서의 코arse-tuning은 특히 알려지지 않은 실체 클래스가 포함된 zero-shot 및 few-shot 설정에서 성능을 크게 향상시킨다.
• 제거 실험 결과, 코arse-tuning과 정보 기반 디코딩 둘 다 필수적임을 확인하였으며, 재학습 없이 둘 다 제거된 경우 성능이 거의 0에 수렴한다.
• 재학습 없이도 새로운 실체 클래스에 강력한 적응성을 보이며, 동적 또는 오픈-보기어비전 환경에서 기존의 인코더 중심 모델을 능가한다.
• 다양한 도메인에서 높은 성능을 유지함으로써, 이 프레임워크의 강건성과 일반화 능력을 입증한다.