[논문 리뷰] Scaling Recurrent Neural Network Language Models

Will Williams, Niranjani Prasad외 3명|arXiv (Cornell University)|2015. 02. 02.

Topic Modeling참고 문헌 10인용 수 13

한 줄 요약

이 논문은 GPU에서 훈련된 대규모 순환 신경망 언어 모델(RNNLM)이 n-gram 모델보다 훨씬 낮은 퍼플렉서티를 달성함을 보여주며, 가장 큰 RNNLM(nstate 4096)이 빌리언 워드 벤치마크에서 42.4의 새로운 최고 수준의 퍼플렉서티를 기록했다. 이 모델은 음성 인식(ASR)에서 단어 오류율을 18% 감소시키고, 기계 번역에서 BLEU 점수를 1점 향상시키며, 단어 예측에서 상대적 정확도 향상률 17%를 달성하여, RNNLM이 계산 비용이 더 높음에도 불구하고 효과적으로 스케일업되며 n-gram을 능가함을 입증한다.

ABSTRACT

This paper investigates the scaling properties of Recurrent Neural Network Language Models (RNNLMs). We discuss how to train very large RNNs on GPUs and address the questions of how RNNLMs scale with respect to model size, training-set size, computational costs and memory. Our analysis shows that despite being more costly to train, RNNLMs obtain much lower perplexities on standard benchmarks than n-gram models. We train the largest known RNNs and present relative word error rates gains of 18% on an ASR task. We also present the new lowest perplexities on the recently released billion word language modelling benchmark, 1 BLEU point gain on machine translation and a 17% relative hit rate gain in word prediction.

연구 동기 및 목표

• 모델 크기, 훈련 데이터 크기, 계산 비용, 메모리 사용량에 따른 RNNLM의 스케일링 특성을 조사하기 위해.
• 높은 계산 및 메모리 요구량으로 인해 과거에 대규모 RNN을 훈련시키는 데 어려움이 있었던 문제를 극복하기 위해.
• 표준 벤치마크에서 n-gram 모델보다 훨씬 낮은 퍼플렉서티를 달성할 수 있음을 입증하기 위해.
• 자동 음성 인식(ASR), 기계 번역(MT), 모바일 단어 예측과 같은 실용적 응용 분야에서 대규모 RNNLM의 성능을 평가하기 위해.
• 데이터 병렬 처리 및 메모리 최적화 기법을 사용해 GPU에서 효율적으로 훈련할 수 있음을 보여주어, 이전 모델보다 파rameter 수를 줄이고도 최첨단 성능을 달성하기 위해.

제안 방법

• 뉴스 전사, 위키백과, 웹 크롤링된 뉴스로 구성된 80억 단어 분량의 복합 코퍼스를 사용해 GPU 기반 훈련과 데이터 병렬 처리를 통해 RNNLM을 훈련시켰다.
• 16문장의 윈도우를 사용한 롤링 버퍼를 활용한 엔트로피 필터링을 적용해 문장 간 맥락을 유지하면서도 저품질 텍스트를 제거하여 문장 수준의 필터링 없이도 코퍼스 품질을 유지했다.
• 빌리언 워드 벤치마크에서 희귀어를 처리하기 위해 64k 어휘의 RNNLM을 사용하고, 전체 770K 어휘의 5-그램 모델과의 인터폴레이션을 통해 품질을 향상시켰다.
• 가중치 묶음(입력-은닉 및 은닉-출력을 전치 행렬로 사용), 8비트 정량화, 잔차층을 활용한 모델 압축 기법을 적용해 모델 크기를 10MB로 줄여 모바일 단어 예측에 적합하게 했다.
• 고도로 효율적인 내부 도구를 사용해 Kaldi 기반 시스템에서 실시간 추론이 가능한 대규모 RNNLM을 사용해 ASR 레이티스를 재평가했다.
• 은닉 상태 크기를 256에서 4096으로 점차 증가시키며 RNNLM을 훈련하고, 다양한 벤치마크에서 퍼플렉서티, WER, BLEU, 정확도 향상률을 측정했다.

실험 결과

연구 질문

• RQ1 모델 크기와 훈련 데이터 크기에 따라 RNNLM의 퍼플렉서티 감소 정도는 어떻게 변화하는가?
• RQ2 높은 메모리 및 계산 요구량에도 불구하고 대규모 RNNLM을 GPU에서 효율적으로 훈련시킬 수 있는가?
• RQ3 다양한 자연어 처리 작업에서 RNNLM이 퍼플렉서티, WER, BLEU, 정확도 향상률 측면에서 n-gram 모델을 능가하는가?
• RQ4 메모리 제약이 있는 환경(예: 모바일 기기)에서도 RNNLM을 충분히 압축해 성능 향상을 유지할 수 있는가?
• RQ5 n-gram 모델의 성능 한계는 무엇이며, RNNLM이 모든 데이터 스케일에서 이를 뛰어넘을 수 있는가?

주요 결과

• nstate 4096인 RNNLM은 빌리언 워드 벤치마크에서 42.4의 퍼플렉서티를 기록했으며, 당시까지 보고된 바 중에서 가장 낮은 수준이었고, 전체 파rameter의 3%만 사용함에도 불구하고 이전 연구에서 사용한 인터폴레이션 모델을 뛰어넘었다.
• ASR에서 n-gram 재평가 대비 RNNLM이 단어 오류율을 18% 상대적으로 감소시켜 IWSLT14 및 en-US 작업에서 강력한 실용적 영향을 미쳤다.
• 기계 번역에서 nstate 3520인 RNNLM은 BLEU 점수를 32.34에서 33.45로 향상시켜 1점의 성능 향상을 달성했으며, 이는 ASR 외 응용 분야에서도 유용함을 보여준다.
• 모바일 단어 예측에서 nstate 1024인 10MB 정량화 RNNLM은 Katz-5-gram 모델 대비 17% 상대적 정확도 향상률을 기록해 저메모리 환경에서도 효과적임을 입증했다.
• 가장 큰 RNNLM은 5-그램 모델 대비 40% 이상 낮은 퍼플렉서티를 달성했고, 저자들은 RNNLM이 어떤 크기의 훈련 데이터를 사용하든 n-gram보다 낮은 퍼플렉서티를 제공할 수 있다고 결론 내렸다.
• 계산 및 메모리 소비가 높음에도 불구하고, 데이터 병렬 처리 및 최적화 기법을 사용해 GPU에서 RNNLM을 훈련시키는 것이 가능하며, 모든 평가된 작업에서 n-gram을 능가함을 확인했다.