[논문 리뷰] Domain Adaptation for Named Entity Recognition in Online Media with Word Embeddings

Vivek Kulkarni, Yashar Mehdad외 1명|arXiv (Cornell University)|2016. 12. 01.

Topic Modeling참고 문헌 23인용 수 8

한 줄 요약

이 논문은 재정 및 스포츠와 같은 도메인 간 언어적 변동성을 포착하는 도메인 특화 단어 임베딩을 학습하는 DomainDist를 제안한다. 이를 통해 명명된 엔티티 인식(NER)의 효과적인 도메인 적응이 가능해진다. 비지도 학습 기반의 도메인 특화 임베딩과 능동 학습을 활용함으로써, 목표 도메인에서 최소한의 레이블 데이터로도 최신 기술 수준의 F1 스코어를 달성하며, 재정 및 스포츠 NER 작업 모두에서 이전 베이스라인을 능가한다.

ABSTRACT

Content on the Internet is heterogeneous and arises from various domains like News, Entertainment, Finance and Technology. Understanding such content requires identifying named entities (persons, places and organizations) as one of the key steps. Traditionally Named Entity Recognition (NER) systems have been built using available annotated datasets (like CoNLL, MUC) and demonstrate excellent performance. However, these models fail to generalize onto other domains like Sports and Finance where conventions and language use can differ significantly. Furthermore, several domains do not have large amounts of annotated labeled data for training robust Named Entity Recognition models. A key step towards this challenge is to adapt models learned on domains where large amounts of annotated training data are available to domains with scarce annotated data. In this paper, we propose methods to effectively adapt models learned on one domain onto other domains using distributed word representations. First we analyze the linguistic variation present across domains to identify key linguistic insights that can boost performance across domains. We propose methods to capture domain specific semantics of word usage in addition to global semantics. We then demonstrate how to effectively use such domain specific knowledge to learn NER models that outperform previous baselines in the domain adaptation setting.

연구 동기 및 목표

• 재정 및 스포츠와 같은 저자원 도메인에서 언어적 변동성과 레이블이 부족한 데이터로 인해 NER 성능이 떨어지는 문제를 해결하기 위해.
• 분산된 단어 표현을 사용하여 재정 및 스포츠와 같은 도메인 간 단어 의미와 사용 방식의 차이를 분석하기 위해.
• 도메인 특화 언어적 변동성을 명시적으로 모델링하여 도메인 적응 환경에서 NER 성능을 향상시키는 방법을 개발하기 위해.
• 최소한의 인간 레이블 데이터로도 도메인 특화 임베딩이 NER 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 각 도메인에 대해 별도의 단어 임베딩을 학습하여 도메인 특화된 의미를 포착하면서도 전역적 의미 구조를 유지하는 신경어휘모델인 DomainDist를 제안한다.
• DomainDist 모델의 출력층을 활용해 도메인 특화 단어 표현을 추출함으로써 도메인 해석 및 언어적 변동성 분석이 가능하게 한다.
• 도메인 특화 임베딩과 함께 가장 정보가 많은 문장을 인간 레이블링에 선택하는 능동 학습 기반의 반지도 학습 NER 프레임워크인 ActiveDomainDistNER를 도입한다.
• 두 단계 학습 프로세스를 적용한다: 먼저 대규모 비라벨 텍스트에서 도메인 특화 임베딩을 사전 학습하고, 그 다음 목표 도메인의 소량의 레이블 데이터를 사용해 NER 모델을 미세 조정한다.
• 단어 의미의 분포를 모델링하여 단어 사용의 의미 변화를 정량적으로 측정한다. 예를 들어, 'Goldman'이 스포츠에서는 인물로, 재정에서는 기업으로 사용되는 것처럼 의미 이동을 명시적으로 포착한다.
• 도메인 특화 임베딩을 공통 의미 공간과 정렬하기 위해 구조적 대응 학습 원리를 적용함으로써 도메인 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 재정 및 스포츠와 같은 다양한 도메인 간 단어 사용 및 의미가 어떻게 달라지며, 이러한 차이를 정량적으로 모델링할 수 있는가?
• RQ2 도메인 특화 단어 임베딩이 레이블 데이터가 제한된 저자원 도메인에서 NER 성능을 향상시킬 수 있는가?
• RQ3 비지도 도메인 특화 임베딩이 NER 작업에서 대규모 수동 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ4 새로운 도메인에서 NER를 위한 레이블링 노력 최소화를 위해 도메인 특화 임베딩 기반 능동 학습이 무작위 샘플링보다 얼마나 우수한가?

주요 결과

• 제안된 ActiveDomainDistNER 방법은 재정 도메인에서 1,500건의 수동 레이블 문장만으로 F1 스코어 69.79를 기록했고, 스포츠 도메인에서는 86.78을 달성했다.
• 도메인 특화 임베딩은 재정 및 스포츠 NER 작업 모두에서 일반적인 단어 임베딩과 이전의 도메인 적응 기반 베이스라인을 뛰어넘는 성능을 보였다.
• 단지 500건의 레이블 문장만으로도 재정 도메인에서 F1 스코어 67.68, 스포츠 도메인에서는 83.94를 기록하여 높은 데이터 효율성을 입증했다.
• 2차원 임베딩 공간의 투영도를 통해 'Goldman'이 스포츠에서는 인물로, 재정에서는 기업으로 사용되는 의미적 변동성을 의미 있는 방식으로 포착했다.
• 더 많은 능동적으로 선택된 학습 예제를 사용할수록 모델 성능이 점진적으로 향상되며, 이는 높은 샘플 효율성을 나타낸다.
• 모든 테스트 데이터 비율에서 경쟁 베이스라인보다 우수한 성능을 보이며, NER에서 도메인 특화 의미 모델링의 효과성을 확인했다.