[논문 리뷰] Statistical and Computational Guarantees for the Baum-Welch Algorithm

Fanny Yang, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2015. 12. 27.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 14

한 줄 요약

이 논문은 은닉 마르코프 모델(HMM)에서 바움-웰치 알고리즘에 대해 최초로 비점점적 유한표본 보장을 제공하며, 약한 조건 하에서 전역 최적해 주변으로 기하급수적 수렴을 보여준다. 충분한 평균 간격과 넓은 반경의 구 내 초기화 조건이 충족되면 알고리즘이 선형 수렴 속도로 진짜 매개변수 근처의 영역으로 수렴함을 입증하여, 국소 최적해에 대한 민감성에 관한 오랫동안 남아있던 질문을 해결한다.

ABSTRACT

The Hidden Markov Model (HMM) is one of the mainstays of statistical modeling of discrete time series, with applications including speech recognition, computational biology, computer vision and econometrics. Estimating an HMM from its observation process is often addressed via the Baum-Welch algorithm, which is known to be susceptible to local optima. In this paper, we first give a general characterization of the basin of attraction associated with any global optimum of the population likelihood. By exploiting this characterization, we provide non-asymptotic finite sample guarantees on the Baum-Welch updates, guaranteeing geometric convergence to a small ball of radius on the order of the minimax rate around a global optimum. As a concrete example, we prove a linear rate of convergence for a hidden Markov mixture of two isotropic Gaussians given a suitable mean separation and an initialization within a ball of large radius around (one of) the true parameters. To our knowledge, these are the first rigorous local convergence guarantees to global optima for the Baum-Welch algorithm in a setting where the likelihood function is nonconvex. We complement our theoretical results with thorough numerical simulations studying the convergence of the Baum-Welch algorithm and illustrating the accuracy of our predictions.

연구 동기 및 목표

• 비볼록 HMM 우도 표면에서 바움-웰치 알고리즘 수렴에 대한 엄밀한 이론적 보장을 제공하기 위해.
• 오랜 기간 동안의 우려인 국소 최적해 문제를 해결하기 위해, 인구 우도에서 전역 최적해 주변의 영역을 특성화하기 위해.
• 특정 조건 하에서 바움-웰치 알고리즘의 유한표본, 비점점적 수렴 속도를 확립하기 위해, 특히 기하급수적 및 선형 수렴 속도를 중심으로.
• 고급 HMM 추정기의 초기화로 바움-웰치를 사용할 경우의 경험적 성공을 설명하기 위해, 초기화 반경이 넓은 경우에도 전역 최적해로 수렴 가능함을 보여주기 위해.
• 독립적 동일분포(i.i.d.) 모델에서의 EM 알고리즘 이론을 시간적 의존성이 존재하는 HMM 설정으로 확장하여, 시간적 의존성으로 인한 과제를 극복하기 위해.

제안 방법

• 저자들은 혼합성 및 농도 성질을 이용하여 HMM의 인구 우도에서 전역 최적해의 영역을 일반적으로 특성화한다.
• 혼합 계수(예: ρ_mix, ϵ_mix)와 모멘트 유계를 활용하여 잠재 상태의 변화에 대한 우도 비율 민감도를 제어한다.
• 결합 원리와 조건부 독립적 구조를 사용하여 관측치가 주어진 조건에서 잠재 상태 간의 공분산을 유계로 제한함으로써 시간이 지남에 따라 의존성이 감소하도록 보장한다.
• 핵심 기술적 요소로는 차수적 분해와 尾확률 제어를 활용한 서로 다른 상태 시퀀스에 대한 우도 비율의 유계를 도출하는 것이다.
• 이 방법은 두 성분의 등방향 정규 HMM에 적용되며, 평균 간격이 임계값을 초과하고 초기화가 진짜 매개변수 주변의 넓은 반경 내에 있을 경우 선형 수렴이 보장됨을 증명한다.
• 수치 시뮬레이션을 통해 이론적 예측을 검증하고, 다양한 초기화 조건 및 모델 매개변수 하에서 수렴 행동을 시각화한다.

실험 결과

연구 질문

• RQ1 HMM에서 바움-웰치 알고리즘이 어떤 조건 하에 전역 최적해 주변의 작은 이웃 영역으로 기하급수적으로 수렴하는가?
• RQ2 비볼록 우도 표면에서 바움-웰치 수렴에 대해 비점점적 유한표본 보장을 제공할 수 있는가?
• RQ3 HMM의 인구 우도에서 전역 최적해의 영역 크기는 얼마인가?
• RQ4 왜 고급 HMM 추정기의 초기화로 바움-웰치를 사용할 경우 성능 향상이 이루어지는가? 이는 이론적으로 설명 가능할까?
• RQ5 시간적 의존성과 혼합 성질은 바움-웰치 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 약한 정규성 조건 하에서 바움-웰치 알고리즘은 전역 최적해 주변의 구의 반경이 최소화율과 같은 주요 수준에서 기하급수적 수렴을 달성한다.
• 두 성분의 등방향 정규 HMM의 경우, 평균 간격이 임계값을 초과하고 초기화가 진짜 매개변수 주변의 넓은 반경 내에 있을 경우 선형 수렴이 보장된다.
• 표본 우도가 유리한 구조를 지닐 경우, 모든 국소 최적해가 진짜 매개변수 근처의 작은 이웃 영역 내에 있음을 입증한다.
• 유리한 설정 하에서 전역 최적해의 영역이 넓다는 것이 입증되어, 비볼록성에도 불구하고 경험적 성공을 설명한다.
• 혼합 계수와 모멘트 부등식을 활용하여 우도 비율과 조건부 공분산에 대한 이론적 유계를 도출함으로써, 유한표본 분석이 가능해졌다.
• 수치 시뮬레이션은 예측된 수렴 속도를 확인하고, 바움-웰치 알고리즘이 전역 최적해로 수렴하는 데 필요한 이론적 조건을 검증한다.