[논문 리뷰] Improving Neural Named Entity Recognition with Gazetteers

Chan Hee Song, Dawn Lawrie외 2명|arXiv (Cornell University)|2020. 03. 06.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 BERT-BiLSTM-CRF 모델에 위키데이터에서 유래한 가제트어(엔티티 목록) 특징을 통합하여 신경망 기반 명명된 엔티티 인식(NER)을 향상시키는 것을 제안한다. 영어, 중국어, 러시아어에서 일관된 성능 향상을 입증하며, 커버리지가 높을 경우 저자원 환경에서도 성능 저하 없이 F1 스코어 향상을 보인다.

ABSTRACT

The goal of this work is to improve the performance of a neural named entity recognition system by adding input features that indicate a word is part of a name included in a gazetteer. This article describes how to generate gazetteers from the Wikidata knowledge graph as well as how to integrate the information into a neural NER system. Experiments reveal that the approach yields performance gains in two distinct languages: a high-resource, word-based language, English and a high-resource, character-based language, Chinese. Experiments were also performed in a low-resource language, Russian on a newly annotated Russian NER corpus from Reddit tagged with four core types and twelve extended types. This article reports a baseline score. It is a longer version of a paper in the 33rd FLAIRS conference (Song et al. 2020).

연구 동기 및 목표

• 가제트어에서 유래한 외부 지식을 통합하여 신경망 기반 NER 성능을 향상시키기 위해.
• 다국어 가제트어를 위키데이터에서 유도하여 NER 시스템에 활용할 수 있는 고커버리지 가제트어를 생성하기 위해.
• 가제트어 특징이 다양한 언어, 특히 저자원 언어인 러시아어에 미치는 영향을 평가하기 위해.
• 가제트어 특징이 BERT 기반 모델에서 성능을 떨어뜨리거나 향상시키는지 조사하기 위해.
• 가제트어 교체를 통한 데이터 증강 기법과 그 모델 일반화에 미치는 영향을 탐색하기 위해.

제안 방법

• 엔티티 레이블과 별칭을 사용해 위키데이터에서 자동으로 가제트어를 생성하며, 엔티티 유형을 표준 NER 카테고리로 매핑한다.
• 각 단어가 가제트어 내 어떤 엔티티와도 일치하는지 확인함으로써 가제트어 특징을 생성하며, 각 엔티티 유형에 대해 이진 지표를 생성한다.
• 이러한 이진 특징은 BERT 임베딩과 연결되어 BiLSTM-CRF 모델에 입력되어 동시 시퀀스 레이블링을 수행한다.
• CRF 디코딩을 사용해 구조적 예측을 위한 엔드 투 엔드로 미세조정된 BERT를 사용해 모델을 훈련한다.
• 훈련 데이터 증강을 위해 주석이 달린 엔티티를 가제트어 엔티티로 교체하는 실험을 수행하며, 표준 이름뿐 아니라 변형형태(형태소 변형 또는 익숙한 형태)도 사용한다.
• 링크 수가 낮은 낯선 위키데이터 엔티티를 제외함으로써 노이즈를 줄이기 위해 영향력 기반 필터링 전략을 제안한다.

실험 결과

연구 질문

• RQ1 가제트어 특징 통합이 고자원 및 저자원 언어에서 NER 성능을 향상시키는가?
• RQ2 가제트어 커버리지가 BERT 기반 NER 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ3 가제트어 기반 데이터 증강이 특히 저자원 환경에서 모델 일반화를 향상시키는가?
• RQ4 가제트어에 노이즈가 많거나 영향력이 낮은 엔티티를 사용할 경우 성능에 악영향을 미치는가?
• RQ5 가제트어 내용과 훈련 데이터 간의 일치도가 모델 학습에 어떤 영향을 미치는가?

주요 결과

• 영어와 중국어에서는 가제트어 특징을 추가함으로써 F1 스코어가 0.22–0.30 포인트 향상되었으며(예: 영어 확장 세트: 64.17 vs. 기준 64.08), 성능 저하 없이 이루어졌다.
• 러시아어의 경우, 가제트어 특징을 적용한 모델이 핵심 유형에서 F1 64.17을 기록하여 기준(64.08)보다 略적으로 향상되어, 저자원 환경에서도 일관된 성능 향상을 보였다.
• 가제트어 커버리지가 높을수록 성능 향상이 두드러졌으며, 이는 커버리지가 효과성의 핵심 요소임을 확인했다.
• 가제트어 엔티티를 사용한 데이터 증강은 일관된 향상을 이끌지 못했으며, 주로 엔티티 유형 불일치(예: '하버드 대학'을 '디즈니랜드'로 교체)로 인한 것으로 보인다.
• 가제트어 특징은 성능을 떨어뜨리지 않으며, 훈련 데이터 분포와 잘 일치할 경우 유용함을 발견했다.
• 저자들은 가제트어 특징이 NER 시스템에서 표준으로 사용되어야 하며, 향후 연구로 맥락 인식 및 유형 일치 기반 엔티티 교체 기법을 개발해 신뢰도를 향상시키는 것이 필요하다고 결론 내렸다.