[논문 리뷰] Towards Open-Domain Named Entity Recognition via Neural Correction Models.

Mengdi Zhu, Zheye Deng외 4명|arXiv (Cornell University)|2019. 09. 13.

Topic Modeling참고 문헌 43인용 수 6

한 줄 요약

이 논문은 위키백과 개요와 신경 보정 모델을 활용하여 대규모 고품질의 오픈도메인 NER 데이터셋을 생성하는 준감독 학습 프레임워크인 AnchorNER를 제안한다. DocRED를 사용해 오답 음성 레이블을 보정하고 BERT를 미세조정함으로써, 여섯 개의 벤치마크 데이터셋에서 BERT-base 및 BERT-large 대비 각각 4.66%, 3.07%의 상대적 향상률을 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Named Entity Recognition (NER) plays an important role in a wide range of natural language processing tasks, such as relation extraction, question answering, etc. However, previous studies on NER are limited to a particular genre, using small manually-annotated or large but low-quality datasets. In this work, we propose a semi-supervised annotation framework to make full use of abstracts from Wikipedia and obtain a large and high-quality dataset called AnchorNER. We assume anchored strings in abstracts are named entities and annotate them with entity types mentioned in DBpedia. To improve the coverage, we design a neural correction model trained with a human-annotated NER dataset, DocRED, to correct the false-negative entity labels, and then train a BERT model with the corrected dataset. We evaluate our trained model on six NER datasets and our experimental results show that we have obtained state-of-the-art open-domain performances --- on top of the strong baselines BERT-base and BERT-large, we achieve relative improvements of 4.66% and 3.07% respectively.

연구 동기 및 목표

• 기존의 NER 모델이 특정 도메인이나 저품질 데이터셋에 국한되어 있는 한계를 해결하기 위해.
• 고품질 오픈도메인 NER 데이터를 생성하기 위한 확장 가능한 준감독 학습 주석 프레임워크를 개발하기 위해.
• 자동 주석 처리된 위키백과 개요에서 오답 음성 예측을 보정함으로써 실체 레이블 커버리지 확대를 위해.
• 보정된 데이터셋을 기반으로 BERT 기반 모델을 훈련시켜 오픈도메인 NER 성능을 최신 기술 수준으로 향상시키기 위해.

제안 방법

• 위키백과 개요 내 잠재적인 문자열은 명시적 실체로 간주되며, DBpedia의 타입으로 레이블이 부여된다.
• 초기 주석에서 오답 음성 실체 레이블을 식별하고 보정하기 위해 DocRED 데이터셋에서 신경 보정 모델을 훈련시킨다.
• 보정된 데이터셋을 사용해 BERT 모델을 오픈도메인 NER에 대해 미세조정한다.
• 위키백과에서의 약한 감독과 DocRED에서의 강한 감독을 조합함으로써 레이블 품질 향상과 모델 일반화 능력 향상을 도모한다.
• 최종 모델은 오픈도메인 일반화 능력을 평가하기 위해 여섯 개의 다양한 NER 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 준감독 프레임워크는 위키백과 개요에서 고품질 오픈도메인 NER 데이터를 효과적으로 생성할 수 있는가?
• RQ2 신경 보정 모델은 약한 주석 처리된 데이터에서 오답 음성 실체 레이블을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 보정된 데이터셋에서 BERT를 미세조정함으로써 오픈도메인 NER 벤치마크 성능이 얼마나 향상되는가?
• RQ4 다양한 데이터셋에서 강력한 기준 모델인 BERT-base 및 BERT-large와 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 여섯 개의 오픈도메인 NER 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, BERT-base 및 BERT-large를 모두 초월한다.
• BERT-base 및 BERT-large 대비 각각 4.66%, 3.07%의 상대적 향상률을 기록하여 뚜렷한 성능 향상을 입증한다.
• 신경 보정 모델은 자동 주석 처리된 위키백과 데이터에서 오답 음성 레이블을 효과적으로 감소시킨다.
• 결과적으로 생성된 AnchorNER 데이터셋은 규모와 고품질 덕분에 다양한 도메인으로의 일반화 능력 향상에 기여한다.
• 이 프레임워크는 위키백과의 약한 감독과 DocRED의 강한 감독을 효과적으로 융합하여 모델 성능 향상을 이룬다.
• 여러 데이터셋에서 일관된 성능 향상이 관찰되어 오픈도메인 환경에서의 강건성과 확장성의 잠재력을 보여준다.