[논문 리뷰] CrossNER: Evaluating Cross-Domain Named Entity Recognition

Zihan Liu, Yan Xu외 6명|arXiv (Cornell University)|2020. 12. 08.

Topic Modeling참고 문헌 44인용 수 22

한 줄 요약

이 논문은 정치, 천연과학, 음악, 문학, 인공지능의 다섯 가지 다양한 분야를 포함하는 크로스도메인 NER 데이터셋인 CrossNER를 소개한다. 각 분야는 도메인 특화된 엔티티 유형을 지닌다. 도메인 특화된 코퍼스와 스파이크 수준 마스킹을 사용한 도메인 적응형 사전학습(DAPT)을 제안하며, 엔티티가 풍부한 서브코퍼스에 집중하고 스파이크 수준 마스킹을 적용할 경우, 다양한 도메인에서 소수의 샘플로도 성능이 크게 향상되어 기존 베이스라인을 능가함을 보여준다.

ABSTRACT

Cross-domain named entity recognition (NER) models are able to cope with the scarcity issue of NER samples in target domains. However, most of the existing NER benchmarks lack domain-specialized entity types or do not focus on a certain domain, leading to a less effective cross-domain evaluation. To address these obstacles, we introduce a cross-domain NER dataset (CrossNER), a fully-labeled collection of NER data spanning over five diverse domains with specialized entity categories for different domains. Additionally, we also provide a domain-related corpus since using it to continue pre-training language models (domain-adaptive pre-training) is effective for the domain adaptation. We then conduct comprehensive experiments to explore the effectiveness of leveraging different levels of the domain corpus and pre-training strategies to do domain-adaptive pre-training for the cross-domain task. Results show that focusing on the fractional corpus containing domain-specialized entities and utilizing a more challenging pre-training strategy in domain-adaptive pre-training are beneficial for the NER domain adaptation, and our proposed method can consistently outperform existing cross-domain NER baselines. Nevertheless, experiments also illustrate the challenge of this cross-domain NER task. We hope that our dataset and baselines will catalyze research in the NER domain adaptation area. The code and data are available at https://github.com/zliucr/CrossNER.

연구 동기 및 목표

• 기존 NER 벤치마크에서 도메인 특화된 엔티티 유형과 집중된 도메인 평가의 부족을 해결하기 위해.
• 다섯 가지 독립된 도메인을 포함한 저자원 크로스도메인 NER 평가 프레임워크를 개발하여 각 도메인은 고유한 엔티티 카테고리를 지닌다.
• 다양한 크기의 도메인 특화 코퍼스와 마스킹 전략을 사용한 도메인 적응형 사전학습(DAPT)의 효과성을 조사하기 위해.
• 기존 최고 수준의 모델을 능가하는 강력한 베이스라인을 확립하기 위해.

제안 방법

• 정치, 천연과학, 음악, 문학, 인공지능의 다섯 가지 다양한 도메인에서 각각 '정치인', '아티스트', '밴드', '노래', 'AI 모델' 등의 도메인 특화 엔티티 유형을 지닌 완전히 레이블링된 NER 데이터셋을 애너테이션한다.
• 모델의 도메인 일반화 성능을 향상시키기 위해 도메인 적응형 사전학습(DAPT)을 위한 다섯 개의 레이블이 없는 도메인 관련 코퍼스를 수집한다.
• 도메인 특화 코퍼스에서 BERT를 미세조정하여 DAPT를 적용하며, 코퍼스 크기와 구성에 대한 아블레이션 연구를 수행한다.
• 스파이크 수준 마스킹 전략을 도입하여, 랜덤 토큰이 아닌 연속적인 스파이크를 마스킹함으로써 맥락 학습을 향상시킨다.
• 다양한 사전학습 및 미세조정 전략(직접 미세조정, 사전학습 후 미세조정, 공동 학습)을 저자원 설정에서 비교한다.
• 통합된 도메인 코퍼스와 스파이크 수준 마스킹을 사용하여 도메인 특화 엔티티에 대한 모델 적응을 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 특화 코퍼스의 크기와 구성이 저자원 설정에서 크로스도메인 NER 성능에 미치는 영향은 무엇인가?
• RQ2 도메인 적응형 사전학습 중 스파이크 수준 마스킹이 표준 토큰 수준 마스킹보다 NER 성능 향상에 기여하는가?
• RQ3 원천 도메인 NER 데이터를 활용할 경우, '아티스트'나 '밴드'와 같은 도메인 특화 엔티티 유형의 성능에 어떤 영향을 미치는가?
• RQ4 목표 도메인 학습 샘플 수가 감소함에 따라 성능이 어떻게 저하되는가? DAPT는 이를 완화할 수 있는가?
• RQ5 스파이크 수준 마스킹과 도메인 특화 코퍼스 선택을 통한 통합 DAPT 전략이 기존 크로스도메인 NER 베이스라인을 일관되게 능가할 수 있는가?

주요 결과

• DAPT 중에 도메인 특화 엔티티(예: 정치에서 '정치인')를 포함하는 코퍼스의 일부만 사용할 경우, 전체 도메인 코퍼스를 사용하는 것보다 목표 도메인 엔티티의 성능 향상이 뚜렷하게 향상된다.
• 연속적인 스파이크를 마스킹하는 스파이크 수준 마스킹은 표준 토큰 수준 마스킹보다 일관되게 우수한 성능을 보이며, 음악 도메인에서 F1 점수를 최대 10.15점 향상시킨다.
• 목표 도메인에서 10개의 학습 샘플만 제공될 경우, DAPT를 적용한 사전학습 후 미세조정 전략이 직접 미세조정 전략보다 약 10 F1 점수 높은 성능을 보이며, 강력한 소수의 샘플 적응 능력을 입증한다.
• 최고의 모델은 스파이크 수준 마스킹과 통합 코퍼스를 사용한 사전학습 후 미세조정 설정에서 음악 도메인에서 F1 점수 80.54를 기록하여 기존 베이스라인을 능가한다.
• 일반적인 카테고리인 'person'과 'organization'의 성능은 '아티스트'나 '밴드'와 같은 도메인 특화 엔티티보다 높은 편이지만, 계층적 카테고리 겹침으로 인해 오분류 문제가 발생한다.
• 목표 도메인 샘플 수가 감소할수록 사전학습 후 미세조정과 공동 학습 간의 성능 격차가 커지며, 이는 사전학습 후 미세조정 전략이 저자원 목표 도메인에 더 집중된다는 것을 시사한다.