[논문 리뷰] Adjusted Viterbi training for hidden Markov models

Jüri Lember, Alexey Koloydenko|ArXiv.org|2007. 09. 14.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

이 논문은 표준 Viterbi 학습의 계산 효율성을 유지하면서 渐近적 일致성과 감소된 편향을 달성하는 수정된 Viterbi 학습(Adjusted Viterbi Training, AVT)을 제안한다. Viterbi 정렬에서 유도된 경험적 측도를 재생 이론과 재생 과정을 사용하여 조정함으로써 AVT는 진정한 매개변수들이 渐近적 고정점을 이루도록 보장하여 표준 Viterbi 학습의 핵심적 한계를 극복한다.

ABSTRACT

To estimate the emission parameters in hidden Markov models one commonly uses the EM algorithm or its variation. Our primary motivation, however, is the Philips speech recognition system wherein the EM algorithm is replaced by the Viterbi training algorithm. Viterbi training is faster and computationally less involved than EM, but it is also biased and need not even be consistent. We propose an alternative to the Viterbi training -- adjusted Viterbi training -- that has the same order of computational complexity as Viterbi training but gives more accurate estimators. Elsewhere, we studied the adjusted Viterbi training for a special case of mixtures, supporting the theory by simulations. This paper proves the adjusted Viterbi training to be also possible for more general hidden Markov models.

연구 동기 및 목표

• 숨은 마르코프 모델에서 표준 Viterbi 학습이 진정한 매개변수를 渐近적으로 인식하지 못하는 일관성 부족과 편향 문제를 해결하기 위해.
• EM 알고리즘의 대안으로서 계산 효율성이 높고 수렴 속도가 빠르며 복잡도가 낮은 방법을 개발하기 위해.
• 진정한 매개변수들이 학습 절차의 渐近적 고정점이 되도록 보장하기 위해. 이는 EM 알고리즘이 갖는 성질이지만 표준 Viterbi 학습은 갖지 못한다.
• 특수 케이스(예: 혼합 모델)를 넘어 일반적인 유한 상태 숨은 마르코프 모델로 수정된 Viterbi 학습을 일반화하기 위해.
• 재생 이론과 경험적 측도의 약한 수렴을 사용하여 수정된 방법의 이론적 일관성을 확립하기 위해.

제안 방법

• 이 방법은 현재 매개변수 추정치 하에서 가장 가능성 높은 은닉 상태 수열에 기반해 관측치를 상태별 부분집합으로 분할하기 위해 Viterbi 정렬을 사용한다.
• 이러한 부분집합에서 경험적 측도 $ Q_l^n $을 구성하고, 재생 과정 이론을 사용하여 이들이 거의 확실히 한정 측도 $ Q_l $로 수렴함을 보여준다.
• 한정 측도 $ Q_l $은 재생 사이클 동안 관측치와 상태 수열의 결합 분포로부터 유도되며, 상태 조건부 관측치에 적절한 가중치를 제공한다.
• 수정된 추정량은 $ Q_l^n $ 기반 최대우도 추정량으로 정의되며, 이는 渐진적으로 진정한 발산 분포 $ P_l $를 목표로 한다.
• 재생 이론을 사용하여 $ Q_l^n $이 $ Q_l $로 수렴함을 증명하며, $ \tau_0^r $은 재생 상태로의 첫 번째 복귀 시간을 나타낸다.
• 진정한 매개변수를 사용할 경우, 해당 경험적 측도 $ P_l^n $이 거의 확실히 진정한 분포로 수렴함을 보장하여 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 Viterbi 학습은 계산 효율성을 유지하면서 渐진적 일관성을 달성하도록 조정될 수 있는가?
• RQ2 표본 크기가 클 경우 수정된 Viterbi 학습 절차는 진정한 매개변수를 고정점으로 인식하는가?
• RQ3 수정된 Viterbi 학습의 이론적 기반을 혼합 모델에서 일반적인 숨은 마르코프 모델으로 확장할 수 있는가?
• RQ4 진정한 매개변수 하에서 Viterbi 정렬에서 유도된 경험적 측도의 渐진적 행동은 어떠한가?
• RQ5 재생 및 재생 과정 이론을 사용하여 표준 Viterbi 학습의 편향을 어떻게 보정할 수 있는가?

주요 결과

• 수정된 Viterbi 학습은 경험적 측도 $ Q_l^n $이 거의 확실히 한정 측도 $ Q_l $로 수렴함을 보장하여, 진정한 매개변수 하에서 일관성을 확보한다.
• 한정 측도 $ Q_l $은 재생 과정의 구조에 의해 보정된 상태 $ l $의 기대 체류 시간 비례함을 보여준다.
• $ Q_l^n $ 기반의 수정된 추정량은 표준 Viterbi 학습이 아닌 진정한 발산 매개변수 $ \theta_l $에 대해 일관성이 있음을 보였다.
• 이 방법은 표준 Viterbi 학습과 동일한 계산 복잡도를 유지하므로, 음성 인식과 같은 대규모 응용 분야에 적합하다.
• $ Q_l^n $이 $ Q_l $로 수렴함을 재생 과정의 구조를 사용하여 증명하였으며, $ \tau_0^r $은 재생 상태로의 첫 번째 복귀 시간을 나타낸다.
• 이론적 프레임워크는 수정된 Viterbi 학습이 진정한 매개변수들이 渐진적 고정점이 되도록 보장함으로써 표준 Viterbi 학습의 편향을 보정함을 확인한다.