[논문 리뷰] A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse

Sosuke Kobayashi, Naoaki Okazaki외 1명|arXiv (Cornell University)|2017. 09. 06.

Topic Modeling참고 문헌 34인용 수 12

한 줄 요약

이 논문은 문맥 정보를 활용해 RNN 언어 모델의 입력층과 출력층에서 실시간으로 단어 임베딩을 구성하고 업데이트하는 동적 신경 텍스트 모델을 제안한다. 이는 미지의 단어와 실체의 정확한 표현을 가능하게 한다. 새로운 익명화된 언어 모델링 데이터셋에서의 실험 결과, 기준 모델들을 능가하며, 동적 출력층 업데이트가 재등장하는 실체 예측을 향상시키고, 입력층 업데이트가 이러한 실체 뒤에 오는 단어 예측을 향상시킨다.

ABSTRACT

This study addresses the problem of identifying the meaning of unknown words or entities in a discourse with respect to the word embedding approaches used in neural language models. We proposed a method for on-the-fly construction and exploitation of word embeddings in both the input and output layers of a neural model by tracking contexts. This extends the dynamic entity representation used in Kobayashi et al. (2016) and incorporates a copy mechanism proposed independently by Gu et al. (2016) and Gulcehre et al. (2016). In addition, we construct a new task and dataset called Anonymized Language Modeling for evaluating the ability to capture word meanings while reading. Experiments conducted using our novel dataset show that the proposed variant of RNN language model outperformed the baseline model. Furthermore, the experiments also demonstrate that dynamic updates of an output layer help a model predict reappearing entities, whereas those of an input layer are effective to predict words following reappearing entities.

연구 동기 및 목표

• 정적이고 닫혀 있는 어휘 공간을 가진 단어 임베딩의 한계를 해결하기 위해, 신경 언어 모델에서 미지의 단어를 동일하게 취급하고 문맥 간에 단어 의미가 항상 동일하다고 가정하는 문제를 해결한다.
• 의사소통의 맥락을 기반으로 실시간으로 미지의 단어와 실체를 위한 동적 단어 임베딩을 구성함으로써, 시퀀스 모델링에서 의미 표현의 정확성을 향상시킨다.
• 제한된 이전 발생 횟수만으로도 단어 의미를 추론할 수 있는 능력을 평가함으로써, 독해력 테스트에서의 일회 학습(one-shot learning)을 시뮬레이션한다.
• 의미 있는 맥락 이해 평가를 위한 새로운 벤치마크 작업과 데이터셋—익명화된 언어 모델링(Anonymized Language Modeling)—을 개발하고 공개한다.
• 재등장하는 실체와 그 이후 맥락을 예측하는 데 있어 동적 입력층과 출력층 표현의 상대적 기여도를 조사한다.

제안 방법

• 모델은 입력층과 출력층에 동적 단어 임베딩을 갖춘 RNN 언어 모델의 변종을 사용하며, 이는 이전 맥락을 이용해 양방향 RNN 인코더를 통해 임베딩을 계산한다.
• 미지어 또는 어휘 외 단어의 경우, 모델은 핵심 참조 인덱스 [k]를 할당하고, 의사소통 내 이전 언급에서의 맥락 정보를 사용해 임베딩을 구성한다.
• 희귀하거나 미지의 단어를 맥락에서 직접 출력으로 복사하는 복사 메커니즘을 통합하여, OOV 단어 처리 능력을 향상시킨다.
• 동적 실체 표현은 각 실체 언급 주변의 국소 맥락을 인코딩하는 양방향 RNN을 사용해 업데이트되며, 다수의 언급 간 일관된 표현을 가능하게 한다.
• 동일 실체의 다수의 맥락 표현을 하나의 진화하는 벡터 표현으로 통합하기 위해 게이트형 RNN(GRU 또는 LSTM)을 사용한다.
• 예측된 단어의 출력층에서 동적 업데이트를 통해 재등장하는 실체를 더 잘 예측할 수 있도록 하며, 입력층의 동적 표현은 이러한 실체 뒤에 오는 단어 예측을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경 언어 모델은 의사소통 맥락을 기반으로 미지의 단어와 실체를 위한 동적 단어 임베딩을 실시간으로 구성하고 업데이트할 수 있는가?
• RQ2 재등장하는 실체와 그 이후 맥락을 예측하는 데 있어 입력층의 동적 임베딩과 출력층의 동적 임베딩 간 성능 비교는 어떻게 되는가?
• RQ3 의사소통 내 몇 차례의 이전 언급만으로도 단어 의미를 얼마나 잘 추론할 수 있는가? 이는 일회 학습(one-shot learning)을 시뮬레이션하는 데 얼마나 효과적인가?
• RQ4 동적 임베딩과 함께 복사 메커니즘을 통합하면 OOV 단어 예측 성능이 향상되는가?
• RQ5 제안된 익명화된 언어 모델링 작업은 맥락 기반 단어 의미 습득 평가에 얼마나 효과적인가?

주요 결과

• 제안된 동적 신경 텍스트 모델은 새로운 익명화된 언어 모델링 데이터셋에서 정적이고 글로벌한 단어 임베딩을 사용하는 기준 모델들을 능가했다.
• 출력층의 동적 업데이트가 재등장하는 실체 예측 능력을 크게 향상시켜, 의사소통 전반에서 실체 정체성을 더 잘 추적할 수 있음을 시사한다.
• 입력층의 동적 업데이트는 재등장하는 실체 뒤에 오는 단어 예측에 더 효과적이었으며, 실체 인식 이후의 맥락 모델링이 향상되었음을 나타낸다.
• 모델는 제한된 맥락 노출만으로도 미지의 단어 의미를 성공적으로 포착했으며, 어휘 의미에 대한 강력한 일회 학습 능력을 보였다.
• 제거 실험(ablation study)는 동적 입력층과 출력층 표현이 성능에 유일하게 기여하며, 실체 추적과 맥락 예측에 각각 다른 역할을 한다는 것을 확인했다.
• 동일 실체의 다수의 맥락 표현을 누적하고 융합할 수 있는 모델의 능력은 장기간의 의사소통 스케일에서 더 정확하고 일관된 의미 표현을 가능하게 했다.