[논문 리뷰] Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling

Kazuya Kawakami, Chris Dyer외 1명|arXiv (Cornell University)|2017. 04. 23.

Topic Modeling참고 문헌 12인용 수 27

한 줄 요약

이 논문은 고유명사와 같은 드문 단어의 급격한 사용을 특히 잘 포착할 수 있도록 동적 생성 및 재사용이 가능한 학습 가능한 캐시 메커니즘을 갖춘 계층적 문자 수준 LSTM 언어 모델을 제안한다. 모델은 표준 벤치마크와 새로운 다국어 위키백과 코퍼스에서 최신 기술 수준의 난이도를 달성하며, 문자 수준 디코딩 또는 캐시된 이전 토큰에서 선택적으로 단어를 생성함으로써 장거리 의존성과 개방형 어휘 역학을 효과적으로 모델링한다.

ABSTRACT

Fixed-vocabulary language models fail to account for one of the most characteristic statistical facts of natural language: the frequent creation and reuse of new word types. Although character-level language models offer a partial solution in that they can create word types not attested in the training corpus, they do not capture the "bursty" distribution of such words. In this paper, we augment a hierarchical LSTM language model that generates sequences of word tokens character by character with a caching mechanism that learns to reuse previously generated words. To validate our model we construct a new open-vocabulary language modeling corpus (the Multilingual Wikipedia Corpus, MWC) from comparable Wikipedia articles in 7 typologically diverse languages and demonstrate the effectiveness of our model across this range of languages.

연구 동기 및 목표

• 새로운 및 드문 단어가 자주 생성되는 개방형 어휘 설정에서 고정 어휘 언어 모델의 한계를 해결하기 위해.
• 고유명사와 같은 드문 단어의 급격한 재사용을 모델링하기 위해 캐싱 메커니즘을 문자 수준 언어 모델에 통합하기 위해.
• 문자 수준 생성과 단어 수준 재사용을 통합한 유일한 아키텍처를 개발하여 LSTMs를 통해 장거리 의존성을 유지하기 위해.
• 형태학적 및 철자적 특성이 다양한 언어에서의 성능을 입증하기 위해 새로운 다국어 코퍼스를 활용해 모델을 평가하기 위해.
• 캐시 메커니즘이 특정 단어 유형(예: 이름, 숫자, 어휘어)에 대해 어떻게 기여하는지 분석하기 위해.

제안 방법

• 모델은 문자 시퀀스에 대해 LSTMs를 사용해 각 단어를 벡터로 인코딩하는 계층적 LSTM을 사용하여 문자 단위로 단어를 생성한다.
• 학습 가능한 LRU 스타일의 캐시는 이전에 생성된 단어 표현을 저장하여, 재생성 대신 이전 토큰에서 복사할 수 있도록 한다.
• 각 생성 단계에서 모델은 언어 모델(문자 수준 LSTM)에서 단어를 생성할지 또는 캐시에서 가져올지를 확률적으로 결정하며, 이 결정은 훈련 중에 평균화된다.
• 캐시는 단어 생성 LSTM의 은닉 상태에 의해 인덱싱되어, 맥락에 따라 이전에 본 단어를 유연하게 검색할 수 있도록 한다.
• 캐시 메커니즘이 자동 회귀 생성 과정에 통합되어 엔드 투 엔드로 교차 엔트로피 손실을 사용해 훈련된다.
• 다양한 언어 유형을 포함하는 7개의 유사 위키백과 기사에서 새로운 다국어 위키백과 코퍼스(MWC)를 구축하여 다국어 성능 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 캐시 메커니즘을 갖춘 문자 수준 언어 모델이 드문 단어나 새로 생성된 단어의 급격한 재사용을 얼마나 효과적으로 모델링할 수 있는가?
• RQ2 다양한 언어에서 캐시가 고유명사와 어휘어 또는 숫자 중 어떤 유형을 더 선호하는가?
• RQ3 제안된 모델이 개방형 어휘 설정에서 표준 문자 수준 및 단어 수준 언어 모델보다 우수한 성능을 보이는가?
• RQ4 캐시 메커니즘이 장거리 의존성 모델링과 난이도 감소에 어떻게 기여하는가?
• RQ5 형태학적 및 철자적 특성이 다양한 언어에 대해 모델이 일반화 가능한가?

주요 결과

• 제안된 캐시 기반 HCLM는 WikiText-2와 다국어 위키백과 코퍼스와 같은 개방형 어휘 벤치마크에서 기준 HCLM 및 표준 LSTM 모델보다 낮은 난이도를 기록했으며, 특히 이들에서 가장 큰 성능 향상을 보였다.
• 캐시는 주로 고유명사에 사용되며, 이는 고유명사가 높은 급격성(버스트니스)을 보이기 때문이다. 반면 어휘어와 숫자는 문자 수준 언어 모델에서 더 자주 생성된다.
• MWC에서 모델은 7개의 형태학적 및 언어학적 특성이 다른 언어에서 일관된 성능 향상을 보였으며, 언어적 다양성에 대한 강건성을 확인했다.
• 후행 분석 결과 캐시 메커니즘이 단어 재사용을 효과적으로 학습하고 있음을 확인했으며, 고유명사의 경우 캐시에서 검색될 확률이 높았다.
• 모델은 숫자를 캐시에서 복사하는 것을 회피함으로써 숫자가 드물게 재사용된다는 사실을 학습했으며, 이는 실질적인 어휘 빈도 패턴과 일치한다.
• 단어 투영 레이어를 제거함으로써 표준 단어 수준 모델보다 파라미터 수가 적지만, LSTMs와 캐싱 덕분에 뛰어난 성능을 유지한다.