[논문 리뷰] Zero-Resource Cross-Domain Named Entity Recognition

Zihan Liu, Genta Indra Winata외 1명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 대상 도메인에서 외부 레이블 또는 언레이블 데이터가 전혀 필요 없는 제로리소스 교차도메인 명명된 실체 인식 모델을 제안한다. 명명된 실체를 탐지하고, 애매한 실체 유형을 다루기 위해 실체 전문가의 혼합(MoEE) 프레임워크를 결합한 다중 작업 학습을 통해, 광범위한 자원에 의존하는 최첨단 방법과 유사한 성능을 달성하며, 자원이 부족한 환경에서도 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Existing models for cross-domain named entity recognition (NER) rely on numerous unlabeled corpus or labeled NER training data in target domains. However, collecting data for low-resource target domains is not only expensive but also time-consuming. Hence, we propose a cross-domain NER model that does not use any external resources. We first introduce a Multi-Task Learning (MTL) by adding a new objective function to detect whether tokens are named entities or not. We then introduce a framework called Mixture of Entity Experts (MoEE) to improve the robustness for zero-resource domain adaptation. Finally, experimental results show that our model outperforms strong unsupervised cross-domain sequence labeling models, and the performance of our model is close to that of the state-of-the-art model which leverages extensive resources.

연구 동기 및 목표

• 대상 도메인에서 레이블 데이터가 제공되지 않는 저자원 교차도메인 명명된 실체 인식 문제를 해결한다.
• 기존의 비지도 교차도메인 NER 방법이 원천 및 대상 도메인 양쪽에서 외부 언레이블 코퍼스가 필요로 하는 한계를 극복한다.
• 외부 자원 없이도 소스 도메인의 레이블 데이터만을 사용하여 다양한 도메인 간에 잘 일반화되는 모델을 개발한다.
• 모호한 맥락에서 명명된 실체를 인식하고 실체 유형을 구분하는 데 있어 강건성을 향상시킨다.
• 자원이 풍부하지 않은 환경에서 자원 집약적인 최첨단 모델과 비교할 만한 성능을 달성한다.

제안 방법

• 모델의 일반화된 실체 표현 학습을 향상시키기 위해 토큰을 명명된 실체 또는 아니면로 분류하는 다중 작업 학습 목표를 도입한다.
• 공유된 파rameter를 가진 BiLSTM-CRF 아키텍처를 사용하여 통합된 시퀀스 레이블링 및 실체 탐지 작업을 수행한다.
• 각 전문가가 특정 실체 유형에 특화되고 게이트 메커니즘이 전문가 예측을 동적으로 조합하는 실체 전문가의 혼합(MoEE) 프레임워크를 설계한다.
• 도메인 적응을 향상시키기 위해 소스 도메인 NER 데이터와 보조 실체 탐지 작업을 조합하여 모델을 훈련한다.
• 토큰 맥락에 기반해 다수의 전문가 표현을 집계하는 MoEE 모듈을 적용하여 애매한 실체 유형에 대한 처리 능력을 향상시킨다.
• 입력 표현으로는 고정된 FastText 임베딩 또는 미세조정된 BERT를 사용하며, 영향을 평가하기 위해 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 대상 도메인에서 외부 데이터가 전혀 없는 조건에서도 교차도메인 NER 모델이 뛰어난 성능을 낼 수 있는가?
• RQ2 보조 실체 탐지 목표를 가진 다중 작업 학습이 제로리소스 도메인 적응에 얼마나 효과적인가?
• RQ3 실체 전문가의 혼합(MoEE) 프레임워크가 다양한 도메인 간에 애매한 실체 유형을 개선할 수 있는가?
• RQ4 소스 및 대상 도메인에서 대규모 언레이블 코퍼스를 사용하는 최첨단 모델과 비교해 본다면, 제안된 모델의 성능는 어떠한가?
• RQ5 고정된 임베딩을 사용할지, 미세조정된 BERT를 사용할지가 제로리소스 NER에서 더 높은 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 모든 임베딩 설정에서 Concept Tagger 및 Robust Sequence Tagger와 같은 강력한 비지도 교차도메인 시퀀스 태깅 기반 모델들을 모두 능가한다.
• 고정된 FastText 임베딩을 사용할 경우, 대상 도메인에서 F1 스코어 73.59를 기록하며, 광범위한 외부 자원을 사용하는 최첨단 모델에 근접한 성능을 달성한다.
• 고정된 FastText 임베딩을 사용할 경우 성능이 고정되지 않은 임베딩보다 뛰어나며, 이는 미세조정이 소스 도메인에서 과적합을 유도할 수 있음을 시사한다.
• MoEE 모듈은 애매한 실체를 효과적으로 처리함을 보여주며, 그림 2의 신뢰도 점수에서 "Drudge"와 같은 토큰이 PER 및 ORG 등 여러 전문가에게 높은 주의를 받는 것으로 나타났다.
• BERT 기반 특징을 사용한 모델의 성능는 고정된 FastText보다 略로 떨어지며, 이는 서브워드 토크나이제이션 과정에서 시퀀스 태깅에 필수적인 단어 수준의 정보가 손실되기 때문일 것이다.
• 다중 작업 학습 목표는 특히 실체 이름이 도메인 간에 크게 다를 경우, 저자원 환경에서 명명된 실체를 탐지하는 능력을 크게 향상시킨다.