[논문 리뷰] A Survey on Neural Network Language Models

Kun Jing, Jungang Xu|arXiv (Cornell University)|2019. 06. 09.

Natural Language Processing Techniques참고 문헌 35인용 수 44

한 줄 요약

이 논문은 신경망 언어 모델(NNLMs)을 조사하고, 고전 NNLM 아키텍처(FFNN, RNN, LSTM-RNNLM)를 요약하며, 개선점, 말뭉치, 도구 키트, 및 향후 연구 방향을 검토한다.

ABSTRACT

As the core component of Natural Language Processing (NLP) system, Language Model (LM) can provide word representation and probability indication of word sequences. Neural Network Language Models (NNLMs) overcome the curse of dimensionality and improve the performance of traditional LMs. A survey on NNLMs is performed in this paper. The structure of classic NNLMs is described firstly, and then some major improvements are introduced and analyzed. We summarize and compare corpora and toolkits of NNLMs. Further, some research directions of NNLMs are discussed.

연구 동기 및 목표

• 전통적 n-그램 LMs에서 NNLM으로의 전환과 분산 표현의 동기에 대해 설명한다.
• 고전 NNLM 아키텍처와 n-그램에 비해 이점들을 요약한다.
• NNLM에서 perplexity를 줄이고 학습 효율성과 맥락 모델링을 개선하는 기법들을 검토한다.
• NNLM 연구 및 개발에 사용되는 말뭉치와 도구 키트를 논의한다.
• NNLM 연구의 열려 있는 과제와 향후 방향을 식별한다.

제안 방법

• 고전 NNLM 아키텍처(FN NLM, RNNLM, LSTM-RNNLM)와 그 수학적 형식을 설명한다.
• 문자 인지 모델, 인자화된 모델, 양방향 모델, 캐싱, 어텐션 등의 개선점을 요약한다.
• 대용량 어휘에서의 속도 향상 기법(계층적 소프트맥스, 샘플링 기반 근사, 자기 정규화 등)을 논의한다.
• NNLM 연구에 사용되는 말뭉치와 도구 키트를 검토한다.
• NNLM의 향후 방향과 평가 고려사항을 개요한다.

실험 결과

연구 질문

• RQ1 NNLM의 핵심 아키텍처는 무엇이며, 이를 전통적인 n-gram LMs와 어떻게 비교되는가?
• RQ2 NNLM에서 perplexity와 학습 비용을 줄이기 위해 어떤 개선이 제안되었는가?
• RQ3 말뭉치와 도구 키트가 NNLM 연구 및 벤치마킹에 어떤 영향을 미치는가?
• RQ4 NNLM 개발에서 확인된 향후 방향과 과제는 무엇인가?
• RQ5 주목 메커니즘과 트랜스포머가 NNLM 진화에 어떤 영향을 미치는가?

주요 결과

• FFNNLM은 차원의 저주를 극복하기 위한 분산 단어 표현을 학습하지만, 한계로는 고정된 컨텍스트 윈도우와 높은 매개변수 수가 있다.
• RNNLM과 특히 LSTM-RNNLM은 FFNNLM 및 전통적 LM보다 더 나은 perplexity를 달성하며, LSTM은 장기 의존성을 해결한다.
• 문자 인지 및 인자화된 모델, 양방향 모델, 캐싱, 어텐션 메커니즘은 모델링 및 OOV 처리, 맥락 활용 및 효율성에서 개선을 제공한다.
• 대형 어휘에서의 학습 효율성은 여전히 도전 과제로 남아 있으며, 계층적 소프트맥스와 샘플링 기반 접근법은 다양한 트레이드오프에서 속도 향상을 제공한다.
• 다양한 말뭉치와 도구 키트가 NNLM 연구에 존재하지만 표준화와 통합 벤치마크가 여전히 필요하다.