[논문 리뷰] Best-first Model Merging for Hidden Markov Model Induction

Andreas Stolcke, Stephen M. Omohundro|ArXiv.org|1994. 05. 10.

Bayesian Modeling and Causal Inference참고 문헌 32인용 수 114

한 줄 요약

이 논문은 작은 훈련 데이터 세트에서 은닉 마르코프 모델(HMM)을 유도하기 위해 베이지안 사후 확률을 이용해 상태 병합를 지도하는 베스트-퍼스트 모델 병합 알고리즘을 제안한다. 이는 바움-웰치 알고리즘 대비 강건성과 정확도를 향상시킨다. 복수의 발음 방식을 허용하는 단어 모델을 통해 음성 인식에서 28.1%의 단어 오류율 감소를 달성하였으며, 컴act하고 일반화 가능한 HMM을 통해 실생활 시스템에서 실용적인 효과를 입증하였다.

ABSTRACT

This report describes a new technique for inducing the structure of Hidden Markov Models from data which is based on the general `model merging' strategy (Omohundro 1992). The process begins with a maximum likelihood HMM that directly encodes the training data. Successively more general models are produced by merging HMM states. A Bayesian posterior probability criterion is used to determine which states to merge and when to stop generalizing. The procedure may be considered a heuristic search for the HMM structure with the highest posterior probability. We discuss a variety of possible priors for HMMs, as well as a number of approximations which improve the computational efficiency of the algorithm. We studied three applications to evaluate the procedure. The first compares the merging algorithm with the standard Baum-Welch approach in inducing simple finite-state languages from small, positive-only training samples. We found that the merging procedure is more robust and accurate, particularly with a small amount of training data. The second application uses labelled speech data from the TIMIT database to build compact, multiple-pronunciation word models that can be used in speech recognition. Finally, we describe how the algorithm was incorporated in an operational speech understanding system, where it is combined with neural network acoustic likelihood estimators to improve performance over single-pronunciation word models.

연구 동기 및 목표

• 표준 바움-웰치 추정에 비해 제한된 훈련 데이터에서 HMM의 구조를 더 강건하고 정확하게 유도하는 방법을 개발하는 것.
• 작은 데이터 환경에서의 과적합 문제를 해결하기 위해 더 단순하고 일반화된 HMM의 구조를 선호하는 것.
• 향상된 음성 인식 성능을 위해 압축형 복수 발음 단어 모델을 구축하는 것.
• 신경망 음향 추정기와 함께 실 운영 음성 이해 시스템에 HMM 병합을 통합하는 것.
• 실용적 응용에서 다양한 사전과 근사치를 사용한 베이지안 모델 병합의 효과를 평가하는 것.

제안 방법

• 최대우도 HMM에서 시작하여 반복적으로 상태를 병합함으로써 점점 더 일반화된 모델을 생성하는 베스트-퍼스트 탐색 전략을 사용한다.
• 다음 병합을 선택하기 위해 베이지안 사후 확률 기준을 사용하여 우도와 모델 복잡도를 균형 잡는다.
• 모델 복잡도를 규제하기 위해 구조적 및 파rameter 사전을 적용하며, 오카무 요인과 상태당 유효 데이터 수에 중점을 둔다.
• 계산 효율성을 향상시키기 위해 비터비 경로 평가 및 전역 사전 가중치와 같은 근사치를 구현한다.
• 병합된 밀도를 명시적으로 계산하지 않는 모델 병합 연산자를 도입하여 확장성을 향상시킨다.
• 전체 음성 이해 시스템에서 신경망 음향 우도 추정기와 병합 알고리즘을 결합한다.

실험 결과

연구 질문

• RQ1 모델 병합이 작은, 양의 값만 있는 훈련 데이터에서 바움-웰치보다 더 정확하고 강건한 HMM을 생성할 수 있는가?
• RQ2 다양한 사전 분포를 사용한 베이지안 모델 병합이 최적의 HMM 구조 탐색을 얼마나 효과적으로 이끄는가?
• RQ3 병합을 통한 복수의 발음 모델링이 음성 인식에서 단어 오류율을 얼마나 향상시키는가?
• RQ4 신경 음향 모델을 갖춘 실시간 음성 이해 시스템에 병합 알고리즘이 효율적으로 통합될 수 있는가?
• RQ5 사전의 선택이 병합 경로에 상당한 영향을 미치는가, 아니면 우도와 히우리스틱 탐색이 주요 결정 요소인가?

주요 결과

• 복수의 발음 단어 모델을 사용하는 음성 인식 시스템에서 단어 오류율이 40.6%에서 32.1%로 감소하였다.
• 단일 발음 기반 기준 대비 복수의 발음 모델을 사용할 경우 의미 해석 오류율이 43.4%에서 34.1%로 감소하였다.
• 작은 훈련 데이터 세트에서 바움-웰치보다 우수한 성능을 보이며, 유한 상태 언어 유도에서 더 강건하고 정확한 성능을 보였다.
• 알고리즘은 과적합을 피하고 훈련 데이터를 초월해 잘 일반화되는 압축형이고 일반화 가능한 HMM을 성공적으로 생성하였다.
• 사전의 선택이 병합 경로에 미치는 영향은 미미하였으며, 이는 우도와 탐색 히우리스틱이 모델 구조의 주요 결정 요소임을 시사한다.
• 실제 음성 이해 시스템에 통합되었을 때 이론적 타당성과 실용적 유용성을 입증하며 실현 가능하고 효과적인 방법임을 입증하였다.