[논문 리뷰] A Neural Knowledge Language Model

Sungjin Ahn, Heeyoul Choi외 2명|arXiv (Cornell University)|2016. 08. 01.

Topic Modeling참고 문헌 45인용 수 112

한 줄 요약

NKLM은 지식 그래프를 RNN 언어 모델과 통합하여 사실 설명에서 복사해 지식을 담은 단어를 생성하고 단어가 사실에 기반한지 예측할 수 있도록 한다.

ABSTRACT

Current language models have a significant limitation in the ability to encode and decode factual knowledge. This is mainly because they acquire such knowledge from statistical co-occurrences although most of the knowledge words are rarely observed. In this paper, we propose a Neural Knowledge Language Model (NKLM) which combines symbolic knowledge provided by the knowledge graph with the RNN language model. By predicting whether the word to generate has an underlying fact or not, the model can generate such knowledge-related words by copying from the description of the predicted fact. In experiments, we show that the NKLM significantly improves the performance while generating a much smaller number of unknown words.

연구 동기 및 목표

• 전통적 언어 모델이 사실 지식을 인코딩하고 디코딩하는 데 가진 한계를 동기 부여하고 해결한다.
• 지식 그래프의 상징적 지식을 신경망 언어 모델링과 혼합하는 신경 모형을 도입한다.
• 사실 설명에서 복사해 지식 관련 단어를 생성하면서 표준 어휘 생성을 유지하도록 한다.
• 지식 그래프를 활용하면 미지의 단어를 줄이고 지식이 풍부한 텍스트에서 혼란도 관련 지표를 향상시킨다.

제안 방법

• 매 시간 단계에서 다음 단어에 기본 사실이 있는지 예측하는 NKLM를 제안한다.
• 사실을 지식 메모리에서 임베딩으로 표현하고 지식 단어를 선택할 때 설명된 객체 단어를 복사한다.
• 단어와 사실 정보를 통합하기 위해 LSTM을 사용하고, 사실-키 기제를 통해 기억 행렬 F에서 사실 임베딩을 추출한다.
• 어휘 생성과 지식 단어 복사 사이를 선택하기 위해 이진 출처 결정 z_t를 계산한다; 복사 시에는 지식 설명 내의 위치를 선택한다.
• 단어를 해당 사실과 정렬하고 주제를 설명하는 보강 관찰에 대해 감독 학습으로 학습한다.
• 지식 기반 언어 모델링을 평가하기 위해 Freebase/Wikipedia에 정렬된 WikiFacts 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 지식 그래프를 LSTM 기반 언어 모델에 통합하면 사실적 단어 및 고유명사 단어의 생성을 향상시킬 수 있는가?
• RQ2 지식 단어에 대한 복사 메커니즘이 미지의 단어 사용을 줄이고 지식이 풍부한 텍스트의 perplexity 지표를 개선하는가?
• RQ3 지식을 재학습 없이 업데이트하거나 수정할 때 NKLM의 성능은 어떠한가?

주요 결과

• NKLM은 WikiFacts-FilmActor 데이터셋에서 perplexity와 미지의 단어 지표에서 표준 RNNLM보다 우수하다.
• 지식 단어에서의 복사 기반 생성이 UNK 토큰의 수를 크게 감소시킨다.
• 사실 정보의 포함은 복사 메커니즘이 비활성화되었을 때도 언어 모델링 성능을 향상시키지만, 전체 NKLM이 가장 큰 이점을 제공한다.
• TransE 기반 임베딩이 모델 성능에 기여하며, 무작위 벡터는 결과를 저하시켜 구조화된 사실의 중요성을 보여준다.
• NKLM은 지식 메모리 임베딩을 업데이트함으로써 재학습 없이도 지식 변화에 즉시 적응할 수 있다.