[논문 리뷰] Classes for Fast Maximum Entropy Training

Joshua Goodman|ArXiv.org|2001. 08. 09.

Statistical Mechanics and Entropy참고 문헌 6인용 수 75

한 줄 요약

이 논문은 단어 예측을 두 단계로 나누어 최대 엔트로피 언어 모델의 속도를 향상시키는 클래스 기반 기법을 제안한다. 먼저 단어 클래스(예: ANIMAL, WEEKDAY)를 예측하고, 그 다음에 해당 클래스 내에서 특정 단어를 예측한다. 이는 비제로 지표 함수의 수를 줄이고 정규화를 가속화하여 기준 방법 대비 최대 35배의 속도 향상을 이룬다. 또한 퍼플렉서피는 약간 향상된다.

ABSTRACT

Maximum entropy models are considered by many to be one of the most promising avenues of language modeling research. Unfortunately, long training times make maximum entropy research difficult. We present a novel speedup technique: we change the form of the model to use classes. Our speedup works by creating two maximum entropy models, the first of which predicts the class of each word, and the second of which predicts the word itself. This factoring of the model leads to fewer non-zero indicator functions, and faster normalization, achieving speedups of up to a factor of 35 over one of the best previous techniques. It also results in typically slightly lower perplexities. The same trick can be used to speed training of other machine learning techniques, e.g. neural networks, applied to any problem with a large number of outputs, such as language modeling.

연구 동기 및 목표

• 언어 모델링에서 최대 엔트로피 모델의 허용할 수 없을 정도로 긴 훈련 시간 문제를 해결하기 위해.
• 모델 품질을 훼손하지 않고 훈련 중 계산 비용을 줄이기 위해.
• 최대 엔트로피 모델과 언어 모델링을 초월한 일반적인 기법을 개발하기 위해.
• 이전 방법이 너무 느려 대규모 데이터셋에서 훈련이 어려웠던 상황에서 효율적인 훈련을 가능하게 하기 위해.

제안 방법

• 모델를 두 개의 연결된 최대 엔트로피 모델로 재구성한다: 하나는 단어 클래스를 예측하고, 다른 하나는 해당 클래스 내에서 단어를 예측한다.
• 의미적 또는 문법적으로 유사한 단어들이 그룹화되도록 단어 클래스를 할당한다(예: ANIMAL, WEEKDAY).
• 공통 확률 P(w|w1…wi−1)를 P(class|w1…wi−1) × P(w|w1…wi−1, class)로 인수분해하여 정규화를 가속화한다.
• 각 맥락당 비제로 지표 함수의 수를 줄여 정규화의 계산 부담을 감소시킨다.
• 이 기법은 출력 클래스 수가 많아 학습이 느려지는 모든 학습 알고리즘에 일반적으로 적용 가능하며, 신경망과 결정 트리 등에도 적용 가능하다.
• 클래스는 훈련 데이터에서 빈도가 높은 상위 60,000개의 단어로부터 학습되며, 영향도를 고려해 삼중어 모델과 혼합하여 확률이 0이 되는 것을 방지한다.

실험 결과

연구 질문

• RQ1 최대 엔트로피 언어 모델의 훈련 시간을 성능 저하 없이 크게 단축시킬 수 있는가?
• RQ2 예측을 클래스 단계와 단어 단계로 분리함으로써 비제로 지표 함수의 수를 줄이고 정규화를 가속화할 수 있는가?
• RQ3 이 기법은 출력 공간이 큰 다른 기계 학습 모델에 일반화될 수 있는가?
• RQ4 클래스 기반 접근 방식은 표준 최대 엔트로피 모델보다 낮은 퍼플렉서피를 제공하는가?

주요 결과

• 클래스 기반 접근 방식은 대규모 훈련 세트에서 기준 기법(일반어 캐싱) 대비 최대 35배의 속도 향상을 달성했다.
• 훈련 데이터 크록수에 비례해 속도 향상이 증가했으며, 특히 대규모이고 복잡한 문제에서 가장 효과적이었다.
• 삼중어 모델과 혼합했을 때, 기준 최대 엔트로피 모델 대비 퍼플렉서피를 1%에서 5% 감소시켰다.
• 작은 데이터 크기에서는 일반어 캐싱 대비 약간의 저하가 있었지만, 데이터 크기가 증가함에 따라 성능이 급격히 향상되었다.
• 이 기법은 신경망과 결정 트리 등 다른 모델에도 적용 가능하며, 특히 출력 공간이 커서 학습 속도가 저하되는 경우에 효과적이다.
• 이 기법은 이론적으로 타당하고 경험적으로 효과적이며, 고출력 문제에서 훈련을 가속화하는 일반적인 솔루션을 제공한다.