[논문 리뷰] Modeling Named Entity Embedding Distribution into Hypersphere

Zhuosheng Zhang, Bingjie Tang외 2명|arXiv (Cornell University)|2019. 09. 03.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사전에 학습된 단어 임베딩 공간 내에서 초구체(hypersphere) 안에 집계된 점으로서 명명된 실체(NEs)의 새로운 개방형 정의를 제안하며, 기하학적 구조를 활용하여 다국어 간 NE 전이를 가능하게 하고 문맥 의존적 NER를 향상시킨다. 임베딩 공간 간의 변환 행렬을 학습하기 위해 워샤르스키 GAN(Wasserstein GAN)을 사용함으로써, 애초에 애너테이션 데이터나 NE 사전이 필요 없이도 최신 기술 수준의 NER 성능을 달성한다.

ABSTRACT

This work models named entity distribution from a way of visualizing topological structure of embedding space, so that we make an assumption that most, if not all, named entities (NEs) for a language tend to aggregate together to be accommodated by a specific hypersphere in embedding space. Thus we present a novel open definition for NE which alleviates the obvious drawback in previous closed NE definition with a limited NE dictionary. Then, we show two applications with introducing the proposed named entity hypersphere model. First, using a generative adversarial neural network to learn a transformation matrix of two embedding spaces, which results in a convenient determination of named entity distribution in the target language, indicating the potential of fast named entity discovery only using isomorphic relation between embedding spaces. Second, the named entity hypersphere model is directly integrated with various named entity recognition models over sentences to achieve state-of-the-art results. Only assuming that embeddings are available, we show a prior knowledge free approach on effective named entity distribution depiction.

연구 동기 및 목표

• 지속적으로 새로운 실체가 등장함에 따라 오래된 닫힌 사전 기반의 NE 정의 방식의 한계를 해결하기 위해.
• 다국어 임베딩 공간에서 기하학적 구조로써, 특히 초구체로 명명된 실체 분포를 모델링하여 개방형 어휘의 NE 인식을 가능하게 하기 위해.
• 병렬 코퍼스나 애너테이션 데이터 없이도, 임베딩 공간 간의 등장적 관계(isomorphic relations)를 활용하여 다국어 간 명명된 실체 매핑을 가능하게 하기 위해.
• 일반적인 목적의 NE 초구체를 지식 유도 신호로 통합하여 문맥 의존적 NER 성능을 향상시키기 위해.

제안 방법

• 다국어 단어 임베딩에서 NE 분포를 시각화하고, 동일한 유형의 명명된 실체가 임베딩 공간 내에서 초구체 영역으로 군집되는 것을 관찰한다.
• NE 분포의 기하학적 표현으로서 초구체 모델을 제안하며, 언어의 NE 집합을 임베딩 공간 내의 초구체로 간주한다.
• 두 언어의 임베딩 공간 간의 변환 행렬을 학습하기 위해 워샤르스키 생성 적대 신경망(Wasserstein GAN, WGAN)을 사용하여, 언어 간 NE 초구체의 매핑을 가능하게 한다.
• 기존 NER 모델에 초구체 기반의 사전 지식 신호를 통합하기 위해, 초구체 유도 손실 또는 어텐션 메커니즘을 추가한다.
• 병렬 코퍼스가 필요 없도록, 원천 언어와 대상 언어의 임베딩 공간 간의 등장적 관계를 사용하여 변환 행렬을 학습한다.
• 초구체 모델을 사용하여 애초에 애너테이션 데이터가 추가로 필요 없이, 제로샷 다국어 간 NE 전이와 문맥 인식 NER를 모두 적용한다.

실험 결과

연구 질문

• RQ1 다양한 언어에서 동일한 유형의 명명된 실체(예: 사람, 장소, 조직)가 사전에 학습된 단어 임베딩 공간 내에서 초구체 분포로 효과적으로 모델링될 수 있는가?
• RQ2 한 언어에서의 NE 기하학적 구조가 병렬 코퍼스 없이도 임베딩 공간 정렬만으로 다른 언어로 전이될 수 있는가?
• RQ3 초구체 기반의 NE 사전 지식을 통합하면 문맥 의존적 NER 모델의 성능이 향상되는가?
• RQ4 이 방법이 애너테이션 학습 데이터나 NE 사전에 의존하지 않고도 최신 기술 수준의 NER 성능을 달성할 수 있는가?

주요 결과

• 논문은 경험적으로 여러 언어에서 동일한 유형의 명명된 실체(예: 사람, 장소, 조직)가 사전에 학습된 단어 임베딩 공간 내에서 명확하고 밀도 높은 초구체 군집을 형성함을 입증한다.
• 제안된 WGAN 기반의 변환 행렬은 병렬 코퍼스 없이도 NE 초구체 간 정확한 매핑을 가능하게 하여 효과적인 다국어 간 NE 탐색을 달성한다.
• NE 초구체를 지식 유도 신호로 통합함으로써 다양한 NER 모델에서 성능 향상을 이룩하였으며, BiLSTM-CRF 기준선 대비 MSRA 중국어 NER 데이터셋에서 F1 스코어 1.05% 향상됨을 확인하였다.
• 영어 및 중국어 NER 벤치마크에서 모두 최신 기술 수준의 성능을 달성하였으며, 추가 애너테이션 데이터나 수작업 특징이 필요 없이 이전 모델들을 능가하였다.
• 초구체 모델은 NER 성능을 다국어 및 다양한 모델 간에 향상시키는, 사전 지식 없이도 일반적인 목적의 NE 사전으로서의 기능을 수행한다.