[논문 리뷰] A Fast and Simple Algorithm for Training Neural Probabilistic Language Models

Andriy Mnih, Yee Whye Teh|arXiv (Cornell University)|2012. 06. 27.

Natural Language Processing Techniques참고 문헌 21인용 수 311

한 줄 요약

이 논문은 신경망 확률적 언어모델(NPLMs)의 빠르고 단순한 학습 알고리즘을 제안한다. 이 알고리즘은 노이즈 대비 추정(NCE)을 사용하여, 각 단어의 전체 어휘에 대한 정규화를 명시적으로 계산하지 않고도 양성 타겟 단어와 노이즈 샘플을 대조함으로써 정규화를 피한다. 이 방법은 기존에 수주가 걸리던 학습 시간을 한자리 수 이상 단축시켜, 모델을 수시간 내로 학습시킬 수 있게 하며, Microsoft Research 문장 완성 챌린지와 같은 벤치마크 과제에서 모델 품질을 유지하거나 향상시킨다.

ABSTRACT

In spite of their superior performance, neural probabilistic language models (NPLMs) remain far less widely used than n-gram models due to their notoriously long training times, which are measured in weeks even for moderately-sized datasets. Training NPLMs is computationally expensive because they are explicitly normalized, which leads to having to consider all words in the vocabulary when computing the log-likelihood gradients. We propose a fast and simple algorithm for training NPLMs based on noise-contrastive estimation, a newly introduced procedure for estimating unnormalized continuous distributions. We investigate the behaviour of the algorithm on the Penn Treebank corpus and show that it reduces the training times by more than an order of magnitude without affecting the quality of the resulting models. The algorithm is also more efficient and much more stable than importance sampling because it requires far fewer noise samples to perform well. We demonstrate the scalability of the proposed approach by training several neural language models on a 47M-word corpus with a 80K-word vocabulary, obtaining state-of-the-art results on the Microsoft Research Sentence Completion Challenge dataset.

연구 동기 및 목표

• 중간 크기의 데이터셋입니다라도 수주가 걸릴 수밖에 없는 신경망 확률적 언어모델(NPLMs)의 학습 시간이 너무 길다는 문제를 해결한다.
• 각 단계에서 전체 어휘에 대한 합계를 계산해야 하는 NPLM의 가능도 기울기에서 발생하는 계산적 병목 현상을 해결한다.
• 기존의 중요도 샘플링과 같은 대안보다 더 빠르고 더 안정적인 학습 알고리즘을 개발한다.
• 예를 들어 47M 단어의 어휘가 80K개인 대규모 코퍼스와 같은 대규모 어휘를 가진 코퍼스에서 NPLMs의 확장 가능한 학습을 가능하게 한다.
• 제안된 방법을 사용하여 Microsoft Research 문장 완성 챌린지에서 최고 성능을 달성한다.

제안 방법

• NPLM에서 표준 정규화 가능도 목적함수를, 비정규화된 분포를 추정하는 데 쓰이는 기법인 노이즈 대비 추정(NCE)으로 대체한다.
• 실제 타겟 단어를 정해진 노이즈 분포에서 추출한 노이즈 샘플들과 대조하여 모델을 학습시킨다.
• 모델이 실제 타겟 단어와 노이즈를 구분하도록 하는 이진 분류 목적함수를 사용하여, 전체 정규화 항목을 계산할 필요 없이 학습을 수행한다.
• NCE 목적함수를 확률적 경사하강법으로 최적화하며, 기울기는 실제 단어와 소수의 노이즈 샘플만을 사용해 효율적으로 계산한다.
• 재가중 또는 중요도 샘플링 보정이 필요 없어 학습을 단순화하고 안정성을 향상시킨다.
• 노이즈 분포로는 일반적으로 어휘 전체에 대해 균일 분포 또는 단순 유니그램 모델을 사용하며, 계산 비용이 낮다.

실험 결과

연구 질문

• RQ1 노이즈 대비 추정(NCE)이 성능 저하 없이 신경망 확률적 언어모델(NPLMs)의 학습 시간을 크게 줄일 수 있는가?
• RQ2 제안된 NCE 기반 학습 방법은 중요도 샘플링 및 기타 정규화 없는 대안 대비 효율성과 안정성 면에서 어떻게 비교되는가?
• RQ3 대규모 어휘와 대규모 코퍼스를 가진 대규모 언어 모델링 과제에 대해 NCE 기반 알고리즘이 얼마나 스케일업 가능한가?
• RQ4 Penn Treebank 및 Microsoft Research 문장 완성 챌린지와 같은 표준 언어 모델링 벤치마크에서 이 방법이 경쟁력 있거나 최고 수준의 성능을 달성하는가?
• RQ5 NCE 방법이 안정적이고 효과적으로 수렴하기 위해 필요한 노이즈 샘플의 수는 얼마이며, 중요도 샘플링과 비교해 봤을 때 어떻게 다른가?

주요 결과

• NCE 기반 학습 알고리즘은 NPLM의 학습 시간을 한자리 수 이상 단축시켜, 기존에 몇 주가 걸리던 학습을 수시간 내로 압축시켰다.
• 이 방법은 Microsoft Research 문장 완성 챌린지에서 최고 성능을 기록하여 이전의 모델들을 능가했다.
• 중요도 샘플링보다 더 안정적이고 효율적이며, 양호한 성능을 달성하기 위해 훨씬 적은 수의 노이즈 샘플이 필요했다.
• Penn Treebank 코퍼스에서, 모델는 학습 시간을 극적으로 줄였음에도 불구하고 낮은 퍼플렉서티로 높은 언어 모델링 품질을 유지했다.
• 80K 어휘를 가진 47M 단어의 코퍼스에 대해서도 이 방법이 성공적으로 스케일업되었으며, 대규모 NLP 응용 분야의 실현 가능성을 입증했다.
• NCE의 사용으로 인해 각 학습 단계에서 전체 어휘에 대한 합계를 명시적으로 계산할 필요가 없어져, 어휘 전체에 대한 합산 비용을 피할 수 있었다.