[논문 리뷰] One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling

Ciprian Chelba, Tomáš Mikolov외 5명|arXiv (Cornell University)|2013. 12. 10.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 통계적 언어 모델링 기법의 평가를 표준화하기 위해 10억 단어 분량의 벤치마크 코퍼스를 소개한다. 다양한 모델, 특히 순환 신경망(RNNs)을 평가하여 기준 모델인 Kneser-Ney 5-그램 모델 대비 35%의 퍼플렉서티 감소—즉, 10%의 교차 엔트로피 감소—를 달성하며, 대규모 언어 모델링에서 딥 러닝의 효과성을 입증한다.

ABSTRACT

We propose a new benchmark corpus to be used for measuring progress in statistical language modeling. With almost one billion words of training data, we hope this benchmark will be useful to quickly evaluate novel language modeling techniques, and to compare their contribution when combined with other advanced techniques. We show performance of several well-known types of language models, with the best results achieved with a recurrent neural network based language model. The baseline unpruned Kneser-Ney 5-gram model achieves perplexity 67.6; a combination of techniques leads to 35% reduction in perplexity, or 10% reduction in cross-entropy (bits), over that baseline. The benchmark is available as a code.google.com project; besides the scripts needed to rebuild the training/held-out data, it also makes available log-probability values for each word in each of ten held-out data sets, for each of the baseline n-gram models.

연구 동기 및 목표

• 통계적 언어 모델링 기법 평가를 위한 표준화되고 공개 가능한 벤치마크를 확립하기 위해.
• 큰 실제 코퍼스를 사용해 신규 언어 모델링 접근법의 공정하고 재현 가능하며 확장 가능한 비교를 가능하게 하기 위해.
• 최신 모델—특히 RNNs—이 최대 규모의 데이터셋에서 최소한의 데이터 전처리로 성능 향상을 보여주기 위해.
• 연구자들이 자유롭게 접근 가능한 데이터와 기준 결과를 제공함으로써 진입 장벽을 낮추기 위해.
• 언어 모델링 및 그 응용 분야의 진전을 가속화하기 위해 공동체 전체가 벤치마크를 채택하도록 유도하기 위해.

제안 방법

• WMT11 데이터셋에서 공개된 단일 언어 영어 텍스트를 바탕으로 10억 단어 분량의 학습 코퍼스를 구성하였으며, 정규화, 토큰화, 중복 제거를 수행하였다.
• 데이터를 100개의 파artition으로 나누어 한 개는 테스트용으로, 나머지는 향후 실험을 위해 확보하여 유지보수된 테스트 세트를 구축하였다.
• 표준 n-그램 스무딩을 사용해 다중 기저 언어 모델을 평가: 통합 Kneser-Ney 5-그램, Katz 5-그램, Stupid Backoff.
• 학습률을 0.05에서 0.001로 조정하며 확률적 경사 하강법을 사용해 256, 512, 1024개의 은닉 유닛을 가진 깊은 순환 신경망 언어 모델(RNNs)을 훈련시켰다.
• Hold-out 데이터에서 퍼플렉서티 최적화를 위해 선형 보간을 통해 다수의 모델을 조합하였으며, 가중치를 조정하였다.
• CPU 병렬 처리, SIMD 명령어, 출력 파라미터 감소 등의 최적화 기법을 적용해 훈련 시간을 20~50배 감소시켰으며, 이로 인해 대규모 RNN 훈련이 수주에서 수일 내로 가능해졌다.

실험 결과

연구 질문

• RQ1 10억 단어 분량의 대규모 언어 모델링 벤치마크는 언어 모델링 연구의 재현 가능성과 비교 가능성에 어떻게 기여하는가?
• RQ2 대규모 데이터셋에서 RNN과 같은 고급 모델을 전통적인 n-그램 모델과 조합할 경우, 어떤 성능 향상이 달성될 수 있는가?
• RQ3 다양한 신경망 아키텍처(예: 은닉 유닛 수가 다른 RNNs)는 퍼플렉서티와 훈련 효율성 측면에서 어떻게 비교되는가?
• RQ4 병렬 처리 및 파라미터 감소와 같은 최적화 기법은 GPU 없이도 표준 하드웨어에서 대규모 RNN 훈련을 얼마나 잘 가능하게 하는가?
• RQ5 모델 조합 전략은 최종 퍼플렉서티에 어떤 영향을 미치며, 어떤 모델이 조합 성능 향상에 가장 기여하는가?

주요 결과

• 최고의 성능을 보인 모델은 은닉 유닛 수가 1024개인 순환 신경망을 포함한 다수의 모델 조합으로, 테스트 세트에서 퍼플렉서티 51.3을 달성하였다.
• 기준 모델인 통합 Kneser-Ney 5-그램 모델은 퍼플렉서티 67.6을 기록하여 성능 향상의 주요 기준점이 되었다.
• 모델 조합을 통해 퍼플렉서티가 35% 감소하였으며, 이는 비트 단위로 10%의 교차 엔트로피 감소와 등가이며, 상당한 성능 향상을 입증한다.
• 은닉 유닛 수가 1024개인 순환 신경망은 모든 n-그램 기반 기준 모델을 뛰어넘는 퍼플렉서티 51.3을 달성하였다.
• 단독으로는 성능이 열악한 Stupid Backoff 모델은 최종 모델 조합에서 상대적으로 높은 가중치를 확보하여 상호 보완적인 정보를 제공함을 시사한다.
• 최적화 기법의 적용으로 가장 큰 RNN 모델의 훈련 시간이 수주에서 약 10일로 단축되어 표준 하드웨어에서도 대규모 훈련이 가능해졌다.