[논문 리뷰] Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition

Angli Liu, Jingfei Du외 1명|arXiv (Cornell University)|2019. 04. 09.

Topic Modeling참고 문헌 22인용 수 9

한 줄 요약

이 논문은 외부 지식 기반(KB) 엔티티와 유형을 통합하여 언어 모델링을 향상시키고 비지도(named entity recognition, NER)를 가능하게 하는 엔드 투 엔드로 훈련 가능한 지식 보강 언어 모델(KALM)을 제안한다. 맥락에 따라 일반 단어와 KB 엔티티 중에서 선택하는 맥락 의존적 게이팅 기반 메커니즘을 사용함으로써, KALM은 언어 모델링에서 최신 기술 수준의 퍼플렉서티를 달성하고, NER에서 F1 점수 0.86을 기록한다. 이는 학습 데이터의 40%만을 사용한 지도 학습 모델과 유사한 성능이다.

ABSTRACT

Traditional language models are unable to efficiently model entity names observed in text. All but the most popular named entities appear infrequently in text providing insufficient context. Recent efforts have recognized that context can be generalized between entity names that share the same type (e.g., \emph{person} or \emph{location}) and have equipped language models with access to an external knowledge base (KB). Our Knowledge-Augmented Language Model (KALM) continues this line of work by augmenting a traditional model with a KB. Unlike previous methods, however, we train with an end-to-end predictive objective optimizing the perplexity of text. We do not require any additional information such as named entity tags. In addition to improving language modeling performance, KALM learns to recognize named entities in an entirely unsupervised way by using entity type information latent in the model. On a Named Entity Recognition (NER) task, KALM achieves performance comparable with state-of-the-art supervised models. Our work demonstrates that named entities (and possibly other types of world knowledge) can be modeled successfully using predictive learning and training on large corpora of text without any additional information.

연구 동기 및 목표

• 외부 지식 기반(KB)에서의 사실 지식을 통합함으로써 희귀한 명명된 엔티티에 대해 언어 모델링을 향상시키는 것.
• annotation된 학습 데이터나 외부 태거에 의존하지 않고도 비지도 NER를 가능하게 하는 것.
• 게이팅 기반의 예측 학습이 원시 텍스트에서 잠재적 엔티티 유형 정보를 효과적으로 학습할 수 있음을 보여주는 것.
• 지식 기반의 품질과 엔티티 어휘의 손상 여부에 대한 모델의 강인성 평가.
• 퍼플렉서티를 유일한 목표로 하는 엔드 투 엔드 훈련이 고품질 NER 시스템을 도출할 수 있음을 보여주는 것.

제안 방법

• 기존 RNN 언어 모델에 맥락에 따라 일반 어휘에서 단어를 생성할지 또는 KB 엔티티에서 생성할지를 결정하는 게이팅 기반 메커니즘을 추가한다.
• 엔티티 유형 임베딩을 사용해 게이팅 기반 메커니즘을 조정함으로써, 다음 토큰이 특정 유형의 명명된 엔티티여야 하는지 예측할 수 있도록 한다.
• 표준 언어 모델링 목표—텍스트 시퀀스의 퍼플렉서티 최소화—를 사용해 게이팅 기반 메커니즘을 엔드 투 엔드로 훈련한다.
• 엔티티 생성은 유형별로 분할된 KB에서 수행되며, 모델은 맥락에 따라 관련된 엔티티 유형에 주의를 기울이는 방식으로 학습한다.
• 추론 과정에서는 모델이 예측한 엔티티 유형과 생성 확률을 사용해 비지도 방식으로 명명된 엔티티를 식별한다.
• 모델은 추가적인 디코딩 전략, 예를 들어 엔티티 유형에 대한 사전 확률 P(τ|y)를 통합함으로써 NER 성능을 향상시키기 위해 파인튜닝된다.

실험 결과

연구 질문

• RQ1 텍스트 퍼플렉서티만으로 훈련된 언어 모델이 어떤 지도 학습 없이도 명명된 엔티티를 인식할 수 있는가?
• RQ2 기존 언어 모델에 비해 KB 보강 언어 모델이 언어 모델링 퍼플렉서티 향상에 얼마나 효과적인가?
• RQ3 지식 기반의 품질이 비지도 NER 시스템 성능에 어느 정도 영향을 미치는가?
• RQ4 언어 모델링 과정에서 학습된 잠재적 엔티티 유형 예측이 경쟁력 있는 NER 시스템을 구축하는 데 사용될 수 있는가?
• RQ5 다양한 양의 레이블 데이터로 훈련된 비지도 KALM 모델의 성능이 지도 학습 모델과 비교해 어떻게 되는가?

주요 결과

• KALM은 표준 언어 모델링 벤치마크에서 새로운 최신 기술 수준의 퍼플렉서티를 달성하며, 기존 언어 모델을 능가한다.
• 기본 KALM 모델은 레이블이 전혀 없는 CoNLL-2003 NER 벤치마크에서 F1 점수 0.72를 기록하여 효과적인 비지도 학습을 입증한다.
• 더 큰 코퍼스(CoNLL-2003 + WikiText-2)로 훈련하면 NER F1 점수가 0.84로 향상되며, 이는 비지도 학습에서 스케일의 이점이 있음을 보여준다.
• 최고의 KALM 모델은 F1 점수 0.86을 기록하며, 학습 데이터의 40%만을 사용한 지도 학습 CRF-biLSTM 모델과 동등한 성능을 보인다.
• KB의 손상 여부에 따라 모델의 NER 성능이 떨어지며, 특히 엔티티 유형이 제거된 경우 민감도가 높게 나타나, KB 품질에 민감함을 보여준다.
• 디코딩 단계에서 사전 확률 P(τ|y)를 추가하면 F1 점수가 0.84에서 0.86으로 향상되며, 유형 사전 확률을 통합하는 것이 유의미한 가치가 있음을 확인한다.