[논문 리뷰] Strategies for Training Large Vocabulary Neural Language Models

Welin Chen, David Grangier외 1명|arXiv (Cornell University)|2015. 12. 15.

Natural Language Processing Techniques참고 문헌 24인용 수 26

한 줄 요약

이 논문은 대규모 어휘를 가진 신경망 언어 모델을 훈련시키기 위한 전략을 평가하고 도입하며, 차별화된 소프트맥스와 자기정규화의 확장 방식을 제안하여 더 나은 가능도 추정을 달성한다. 대규모 벤치마크에서 계층적 소프트맥스와 차별화된 소프트맥스가 기존의 소프트맥스를 능가하는 것으로 나타났으며, 희귀어에 대해서는 Kneser-Ney 모델이 여전히 슈퍼리어한 성능을 보이며 신경망 모델과 수치 기반 모델 간의 상호보완적인 강점을 입증한다.

ABSTRACT

Training neural network language models over large vocabularies is still computationally very costly compared to count-based models such as Kneser-Ney. At the same time, neural language models are gaining popularity for many applications such as speech recognition and machine translation whose success depends on scalability. We present a systematic comparison of strategies to represent and train large vocabularies, including softmax, hierarchical softmax, target sampling, noise contrastive estimation and self normalization. We further extend self normalization to be a proper estimator of likelihood and introduce an efficient variant of softmax. We evaluate each method on three popular benchmarks, examining performance on rare words, the speed/accuracy trade-off and complementarity to Kneser-Ney.

연구 동기 및 목표

• 대규모 출력 어휘를 가진 신경망 언어 모델을 훈련시키는 데 있어 계산 비용과 확장성 문제를 다루며, 다양한 전략을 체계적으로 비교한다.
• 다양한 방법 간의 훈련 속도, 정확도, 희귀어 성능 간의 상충 관계를 평가한다.
• 빈도가 높은 단어에 더 많은 자원을 할당하는 새로운 소프트맥스 변형인 '차별화된 소프트맥스'를 제안하고 검증한다.
• 자기정규화를 적절한 가능도 추정기로 확장하고, 다른 방법들과의 성능 비교를 수행한다.
• 신경망 모델과 전통적인 Kneser-Ney 수치 기반 모델 간의 상호보완성, 특히 희귀어 성능 측면에서의 관계를 탐구한다.

제안 방법

• 기존 소프트맥스의 변형인 '차별화된 소프트맥스'를 제안하며, 빈도가 낮은 단어에 대해 학습 가능한 스케일링 메커니즘을 통해 계산 자원을 줄인다.
• 자기정규화(희귀 정규화)를 더 이상의 반복을 줄이며 분할 함수를 덜 자주 갱신함으로써 적절한 가능도 추정기로 확장한다. 이 과정에서 편향 없는 기울기 추정을 유지한다.
• 단어 임베딩, 다중 tanh 층, 최종적으로 소프트맥스 또는 다른 정규화 레이어를 포함하는 전방향 신경망 아키텍처를 사용한다.
• Penn Treebank, Gigaword, 그리고 Billion Word 세 가지 벤치마크에서 동일한 일주일 훈련 예산을 기준으로 성능/속도의 상충 관계를 비교한다.
• 미니배치를 사용한 확률적 경사하강법(SGD)을 적용하고, 수렴에 미치는 영향을 평가하기 위해 다양한 초기화 기법(예: PCA, 랜덤)을 적용한다.
• 완전한 소프트맥스 대신 타겟 샘플링, 노이즈 대비 추정(NCE), 계층적 소프트맥스(HSM)를 사용하여 정규화의 계산 부담을 줄인다.

실험 결과

연구 질문

• RQ1 소프트맥스, 계층적 소프트맥스, 타겟 샘플링, NCE, 자기정규화와 같은 다양한 정규화 전략은 훈련 속도, 정확도, 희귀어 성능 측면에서 어떻게 비교되는가?
• RQ2 빈도가 높은 단어에 더 많은 자원을 할당하는 차별화된 소프트맥스는 대규모 어휘에서 표준 소프트맥스보다 성능이 뛰어나고 훈련 속도가 더 빠른가?
• RQ3 자기정규화는 훈련 효율성이나 정확도를 희생시키지 않고도 적절한 가능도 추정기로 개선될 수 있는가?
• RQ4 훈련 데이터 크기가 증가함에 따라 모델 성능은 어떻게 변화하는가? 그리고 계산 제약으로 인해 신경망 모델의 경우 더 큰 데이터셋의 이점이 감소하는가?
• RQ5 신경망 언어 모델이 희귀어 성능에서 Kneser-Ney 모델을 능가하는 정도는 어느 정도이며, 두 모델을 효과적으로 조합하여 전체 성능을 향상시킬 수 있는가?

주요 결과

• 빈도가 높은 단어에 더 많은 자원을 할당함으로써 차별화된 소프트맥스는 표준 소프트맥스보다 더 높은 성능과 더 빠른 훈련 속도를 달성한다. 이는 희귀어의 계산을 줄여 효율성을 높인다.
• Billion Word 벤치마크에서 계층적 소프트맥스는 빠른 속도 덕분에 일주일 훈련 예산 내에서 더 많은 훈련 업데이트를 수행할 수 있어, 단위 반복 정확도는 낮지만 전체적으로 다른 방법보다 뛰어난 성능을 보였다.
• Kneser-Ney 수치 기반 모델은 희귀어 성능에서 매우 경쟁력이 있으며, 일반적으로 신경망 모델이 희귀어를 더 잘 모델링한다고 여겨지는 일반적인 믿음을 뒤집는 결과를 보였다.
• 신경망 모델은 기대한 것만큼 큰 훈련 데이터셋의 이점을 얻지 못한다. 계산 제약과 높은 훈련 비용으로 인해 퍼플렉서티 향상은 약 5억 토큰 이후에 정체된다.
• 타겟 샘플링과 노이즈 대비 추정(NCE)은 표준 소프트맥스를 능가하지 못했으며, NCE는 모든 벤치마크에서 가장 열악한 성능을 보였다.
• Kneser-Ney 모델과 신경망 모델을 조합하면 강력한 성능을 낼 수 있으며, 이는 상호보완적인 강점을 반영한다: 신경망 모델은 빈도가 높은 단어에서 뛰어난 성능을 보이고, Kneser-Ney 모델은 희귀어에서 뛰어난 성능을 보인다.