[논문 리뷰] On approximation of smoothing probabilities for hidden Markov models

Jüri Lember|arXiv (Cornell University)|2009. 10. 24.

Bayesian Methods and Mixture Models참고 문헌 12인용 수 4

한 줄 요약

이 논문은 일반적인 클러스터 조건 하에서 은닉 마르코프 모델(HMM)에서 지수적 기억 상실을 확립하며, 이는 이중 측면 HMM를 이용한 스무딩 확률의 정확한 근사화를 가능하게 한다. 이는 분할 위험의 거의 확실 수렴이 일정한 점 渐진적 위험으로 수렴함을 증명하여, 통계학적 학습 응용에서 한계 정리에 에르고딕 정리의 활용을 뒷받침한다.

ABSTRACT

We consider the smoothing probabilities of hidden Markov model (HMM). We show that under fairly general conditions for HMM, the exponential forgetting still holds, and the smoothing probabilities can be well approximated with the ones of double sided HMM. This makes it possible to use ergodic theorems. As an applications we consider the pointwise maximum a posteriori segmentation, and show that the corresponding risks converge.

연구 동기 및 목표

• HMM에서 스무딩 확률가 이중 측면 HMM의 것과 잘 근사화될 수 있는 조건을 확립하는 것.
• HMM에서 스무딩 확률을 포함한 한계 정리에 에르고딕 정리를 적용하는 것의 정당화.
• 점별 최대 사후 분할 위험이 일정한 점 渐진적 위험으로 수렴하는 분석.
• 양의 전이 행렬이나 방출 밀도와 같은 가정을 완화함으로써 기존 결과를 확장하는 것.
• HMM 기반 분할에서 점 渐진적 분류 위험의 시뮬레이션 기반 추정에 대한 이론적 지원 제공.

제안 방법

• 클러스터 가정 A를 사용하여 유한 기간과 무한 기간 스무딩 확률 간의 총 변화 거리에 대한 지수적 경계를 유도한다.
• 레비의 마틴게일 수렴 정리를 적용하여 유한 기간 스무딩 분포가 이중 측면 극한으로 거의 확실하게 수렴함을 보여준다.
• 이중 측면 근사 경계를 확립: $\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ 거의 확실하게, $\rho_0 \in (0,1)$.
• 과정 $\{C'_k\}$의 에르고딕성을 활용하여 근사 경계가 실용적으로 유용함을 보장한다.
• 총 변화 거리를 사용하여 조건부 위험의 차이를 경계한다: $|R_t(s|X_{-\infty}^\infty) - R_t(s|X_1^n)| \leq l(s) \|P(Y_t\in\cdot|X_1^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\|$.
• 카크의 복귀 시간 정리와 셰프의 보조정리를 적용하여 최소 위험 $R(X^n)$이 일정한 $R$으로 거의 확실하게 및 $L_1$ 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 유한 기간 스무딩 확률 $P(Y_t = s | X_z^n)$이 이중 측면 스무딩 확률 $P(Y_t = s | X_{-\infty}^\infty)$로 지수적으로 빠르게 수렴하는 조건은 무엇인가?
• RQ2 양의 전이 행렬이나 방출 밀도를 초월한 일반 조건 하에서 HMM의 스무딩 과정에 대해 에르고딕 정리를 적용할 수 있는가?
• RQ3 관측 길이가 증가함에 따라 점별 최대 사후 분할 위험은 거의 확실하게 및 $L_1$에서 일정한 값으로 수렴하는가?
• RQ4 클러스터 가정 A 하에서 유한 기간과 무한 기간 스무딩 분포 간의 총 변화 거리는 어떻게 경계될 수 있는가?
• RQ5 최소 분할 위험 $R(X^n)$의 점 渐진적 행동은 무엇이며, 이를 시뮬레이션을 통해 일관되게 추정할 수 있는가?

주요 결과

• 클러스터 가정 A 하에서, 유한 기간과 이중 측면 스무딩 확률 간의 총 변화 거리는 지수적으로 감소한다: $\|P(Y_t\in\cdot|X_z^n) - P(Y_t\in\cdot|X_{-\infty}^\infty)\| \leq C_1\rho_0^{t-1} + C'_k\rho_0^{k-t}$ 거의 확실하게, $\rho_0 \in (0,1)$.
• 스무딩 확률의 근사 오차는 균일하게 유계이며 시간이 지남에 따라 기하급수적으로 감소하여, 에르고딕 정리의 적용을 가능하게 한다.
• 점별 위험 $R_t(s|x^n)$은 거의 확실하게 및 $L_1$에서 $R_t(s|X_{-\infty}^\infty)$로 수렴하며, 오차는 총 변화 거리와 손실 경계의 곱으로 경계된다.
• 최소 분할 위험 $R(X^n) = \min_{s^n} R(s^n|x^n)$은 거의 확실하게 및 $L_1$에서 일정한 $R$으로 수렴하며, 이는 점 渐진적 평균 분류 오차를 나타낸다.
• 점 渐진적 위험 $R$은 잘 정의되어 있으며, 해석적으로 계산하기 어려울지라도 시뮬레이션을 통해 일관되게 추정할 수 있다.
• 유한한 랜덤 변수 $C'$의 존재와 $\{C'_k\}$의 에르고딕성은 근사 경계가 대규모 표본 응용에서 효과적으로 유지됨을 보장한다.