[논문 리뷰] Aggregate and mixed-order Markov models for statistical language processing

Lawrence K. Saul, Fernando Pereira|ArXiv.org|1997. 06. 09.

Algorithms and Data Compression참고 문헌 12인용 수 138

한 줄 요약

이 논문은 표준 n-gram 모델과 중간 단계의 언어 모델로 집합형 및 혼합 순서 Markov 모델을 제안하며, EM으로 학습된 확률적 단어 클래스와 스킵-k 전이 행렬을 사용하여 일반화를 향상시킨다. 이러한 모델들은 보정 절차에 삽입될 때, 예측할 수 없는 단어 조합의 퍼플렉서티를 50% 이상 감소시키며, 훈련 시간이 훨씬 적은 전통적인 n-gram 백오프 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

We consider the use of language models whose size and accuracy are intermediate between different order n-gram models. Two types of models are studied in particular. Aggregate Markov models are class-based bigram models in which the mapping from words to classes is probabilistic. Mixed-order Markov models combine bigram models whose predictions are conditioned on different words. Both types of models are trained by Expectation-Maximization (EM) algorithms for maximum likelihood estimation. We examine smoothing procedures in which these models are interposed between different order n-grams. This is found to significantly reduce the perplexity of unseen word combinations.

연구 동기 및 목표

• 대규모 어휘 언어 모델링에서 희박한 훈련 데이터로부터 일반화하는 데 도전하는 것.
• 다양한 n-gram 순서 사이에서 크기와 정확도가 중간인 모델을 개발하는 것.
• 개선된 보정 기법을 통해 예측 불가능한 단어 조합의 퍼플렉서티를 줄이는 것.
• 최대 엔트로피 모델과 유사하거나 더 낫지만 계산 비용이 더 적은 대안을 제공하는 것.

제안 방법

• 집합형 Markov 모델은 확률적 단어 클래스를 사용하여 파rameter 수를 줄이며, 최대 우도를 위해 EM을 통해 클래스 할당을 학습한다.
• 혼합 순서 Markov 모델은 스위프트-k 전이 행렬(예: k단계 뒤의 단어에 조건화된)의 예측을 문맥에 따라 가중치를 두어 조합한다.
• 두 모델 모두 혼합 가중치와 전이 확률을 동시에 최적화하기 위해 기대치 최대화(EM) 알고리즘을 사용하여 훈련된다.
• 보정은 이러한 중간 모델을 서로 다른 n-gram 순서 사이에 삽입하여 수행되며, 희귀하거나 예측 불가능한 시퀀스로의 일반화를 향상시킨다.
• 혼합 순서 모델의 경우 복잡도는 O(mV²)로, 전체 m+1-gram 모델의 O(V^{m+1})보다 훨씬 낮다.
• 이 프레임워크는 예측이 사용되는 맥락에 맞게 조정됨으로써 일관된 보간을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반어, 이항어, 삼항어 n-gram 사이의 복잡도가 중간인 모델이 예측 불가능한 어구의 퍼플렉서티를 줄일 수 있는가?
• RQ2 집합형 모델에서 확률적 단어 클래스의 사용이 대규모 어휘 언어 모델링에서 일반화를 향상시키는 데 얼마나 효과적인가?
• RQ3 비연속된 단어에 조건화된 스킵-k 전이 행렬이 기존의 이항어 모델을 초월해 예측 정확도를 향상시킬 수 있는가?
• RQ4 n-gram 순서 사이에 중간 모델을 보정 절차에 삽입함으로써 퍼플렉서티에 상당한 향상이 이루어지는가?
• RQ5 EM 기반 중간 모델의 훈련 효율성은 최대 엔트로피 모델과 비교해 어떻게 되는가?

주요 결과

• 중간 집합형 및 혼합 순서 모델을 사용함으로써, 기준 트리그램 백오프 모델 대비 예측 불가능한 단어 조합의 퍼플렉서티가 50% 이상 감소하였다.
• 혼합 순서 모델은 트리그램 자르기 방식에 따라 16%에서 22%의 퍼플렉서티 감소를 달성하였으며, 기준 트리그램 모델을 능가하였다.
• 혼합 순서 모델의 EM 기반 훈련은 12 CPU시간 미만으로 완료되었으며, 유사 작업에서 최대 엔트로피 모델이 요구한 200 CPU일보다 훨씬 빠르게 수행되었다.
• 희귀 트리그램을 자르는 것은 성능 향상에 기여하였으며, 혼합 순서 모델은 가장 빈도가 높은 트리그램만 유지하더라도 낮은 퍼플렉서티를 유지하였다.
• 모델은 다양한 무작위 테스트 세트 분할에 걸쳐 일관된 성능을 보였으며, 이는 강건성을 시사한다.
• 집합형 모델은 단어 클래스 수를 조절함으로써 일반어와 이항어의 복잡도 사이의 트레이드오프를 달성하였으며, 클래스 수가 증가할수록 성능이 향상되었다.