[논문 리뷰] Online EM Algorithm for Hidden Markov Models

Olivier Cappé|arXiv (Cornell University)|2009. 08. 17.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 4

한 줄 요약

이 논문은 스트리밍 데이터를 한 번의 통과만으로도 순차적 파라미터 추정을 가능하게 하는 온라인 기대값최대화(EM) 알고리즘을 제안한다. 완전한 데이터 충분통계와 보조 재귀 기반의 순차적 스무딩 기법을 결합함으로써, 한계 EM 사상의 정적점으로 수렴하며, 큰 표본에서 배치 최대우도 추정과 유사한 성능을 보인다.

ABSTRACT

Online (also called "recursive" or "adaptive") estimation of fixed model parameters in hidden Markov models is a topic of much interest in times series modelling. In this work, we propose an online parameter estimation algorithm that combines two key ideas. The first one, which is deeply rooted in the Expectation-Maximization (EM) methodology consists in reparameterizing the problem using complete-data sufficient statistics. The second ingredient consists in exploiting a purely recursive form of smoothing in HMMs based on an auxiliary recursion. Although the proposed online EM algorithm resembles a classical stochastic approximation (or Robbins-Monro) algorithm, it is sufficiently different to resist conventional analysis of convergence. We thus provide limited results which identify the potential limiting points of the recursion as well as the large-sample behavior of the quantities involved in the algorithm. The performance of the proposed algorithm is numerically evaluated through simulations in the case of a noisily observed Markov chain. In this case, the algorithm reaches estimation results that are comparable to that of the maximum likelihood estimator for large sample sizes.

연구 동기 및 목표

• 과거 관측치를 저장하지 않고 순차적으로 데이터를 처리할 수 있는 HMM용 온라인 파라미터 추정 알고리즘을 개발하는 것.
• 유한기억 근사 및 기울기 기반 방법을 넘어서 일반적인 HMM(연속 관측을 수용)를 다룰 수 있도록 온라인 EM 프레임워크를 확장하는 것.
• 표준 확률적 근사 분석에서 벗어난 점을 고려할지라도, 제안된 순차적 알고리즘의 이론적 수렴 성질을 확립하는 것.
• 표본 크기가 클 조건에서, 알고리즘이 배치 최대우도 추정과 유사한 추정 정확도를 달성할 수 있음을 보여주는 것.

제안 방법

• 알고리즘은 EM 원칙에 부합하도록 완전한 데이터 충분통계를 사용해 HMM 추정 문제를 재매개변수화한다.
• Zeitouni와 Dembo(1988) 및 Elliott 등(1995)의 영감을 얻어, 보조 재귀 기반의 순차적 스무딩 기법을 사용해 충분통계를 온라인으로 계산한다.
• 시간에 따라 변하는 스텝 사이즈 시퀀스 $ \gamma_k = k^{-1} $ 를 사용해 파라미터 추정치를 순차적으로 갱신함으로써, 약한 조건 하에서도 수렴을 보장한다.
• 과거 관측치를 저장하지 않고, 과거 및 현재 데이터를 조건으로 한 기대값에서 유도된 순차적 충분통계를 유지함으로써 전체 관측 시퀀스를 저장하지 않는다.
• HMM의 에르고딕성과 믹싱 성질을 활용해, 경험 평균이 이론적 대응값으로 거의 확실히 수렴함을 보여준다.
• 이론적 분석을 통해 재귀의 한계점이 한계 EM 사상의 정적점임을 밝혀내었으며, 이는 독립 데이터 설정에서의 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 일반적인 HMM에 대해 유한기억 근사 및 기울기 기반 방법을 피하면서도 순차적 파라미터 업데이트를 가능하게 하는 온라인 EM 알고리즘을 설계할 수 있는가?
• RQ2 표본 크기가 클 조건에서, 제안된 알고리즘의 수렴 행동은 어떻게 배치 EM 알고리즘과 관련이 있는가?
• RQ3 알고리즘에서 사용된 순차적 스무딩 기법의 이론적 성질은 무엇이며, 이는 안정성과 일致성 보장을 어떻게 보장하는가?
• RQ4 온라인 알고리즘이 어느 정도까지 배치 최대우도 추정과 유사한 추정 정확도를 달성하는가?

주요 결과

• 제안된 온라인 EM 알고리즘은 거의 확실히 한계 EM 사상의 정적점으로 수렴하며, 이는 큰 표본 조건에서 배치 EM 알고리즘의 고정점에 해당한다.
• 노이즈가 있는 마르코프 체인에서, 표본 크기가 클 경우 알고리즘은 배치 최대우도 추정기와 유사한 추정 성능을 달성한다.
• 순차적 스무딩 기법은 과거 관측치를 저장하지 않고도 정확한 충분통계를 계산할 수 있게 하여, 스트리밍 데이터에 적합한 알고리즘을 만든다.
• 이론적 분석을 통해 충분통계의 경험 평균이 진정한 모형 하에서 기대값으로 거의 확실히 수렴함을 보여주었으며, 이는 일치성 보장을 의미한다.
• 알고리즘의 수렴은 약한 믹싱 조건과 모멘트 조건 하에서 확립되었으며, 스텝 사이즈 시퀀스 $ \gamma_k = k^{-1} $ 가 점진적 수렴을 보장한다.
• 알고리즘의 한계 행동은 한계 대비 함수의 기울기로 특징지어지며, 정규 조건 하에서는 참값에서 이 기울기가 0이 된다.