[논문 리뷰] On learning parametric-output HMMs

Aryeh Kontorovich, Boaz Nadler외 1명|arXiv (Cornell University)|2013. 02. 25.

Machine Learning and Algorithms참고 문헌 19인용 수 15

한 줄 요약

이 논문은 출력 분포가 알려진 파라미터 가족(예: 정규분포)에서 온 파라미터 출력 히든 마르코프 모델(HMM)을 학습하기 위한 이단계 방법을 제안한다. 먼저 출력 파라미터는 혼합 모델링(예: EM)을 통해 추정되고, 이후 전이 확률은 볼록 2차 계획법(Quadratic Program, QP)을 풀어 복구된다. 주요 기여는 출력 파라미터 추정치의 변동에 대해 전이 행렬 추정치의 이론적 일致성과 강건성이다.

ABSTRACT

We present a novel approach for learning an HMM whose outputs are distributed according to a parametric family. This is done by {\em decoupling} the learning task into two steps: first estimating the output parameters, and then estimating the hidden states transition probabilities. The first step is accomplished by fitting a mixture model to the output stationary distribution. Given the parameters of this mixture model, the second step is formulated as the solution of an easily solvable convex quadratic program. We provide an error analysis for the estimated transition probabilities and show they are robust to small perturbations in the estimates of the mixture parameters. Finally, we support our analysis with some encouraging empirical results.

연구 동기 및 목표

• 표준 바움-웰치 알고리즘의 느린 수렴 속도와 국소 최적해 문제를 해결하기 위해.
• 파라미터 출력 HMM에서 출력 파라미터 학습과 전이 확률 학습을 분리하기 위해.
• 출력 파라미터가 알려져 있거나 근사적으로 알려져 있을 때, 전이 행렬을 계산적으로 효율적이고 통계적으로 일치하는 방법으로 학습하기 위해.
• 작은 오차가 추정된 출력 파라미터에 영향을 주는 전이 행렬 추정치의 강건성 분석하기 위해.
• 파라미터 출력 HMM 학습의 주요 곤경이 전이 확률 추정이 아니라 출력 분포 혼합 모델 피팅에 있음을 밝히기 위해.

제안 방법

• HMM 학습을 이단계로 분리: 먼저 일반적인 목적의 파라미터 혼합 학습기(예: EM)를 사용해 출력 파라미터 추정, 이후 볼록 최적화를 통해 전이 확률 추정.
• 숨은 상태 시퀀스를 정적 분포에서 샘플링된 것으로 간주하고, 전체 우도 계산을 피하기 위해 경험적 단일 및 쌍 분포를 활용.
• 전이 행렬 추정을 볼록 2차 계획법(QP)으로 공식화하여 경험적 및 모델 기반 공동 분포 간의 이질성 최소화.
• 정적 분포가 파라미터 출력 밀도의 혼합임을 고려해 QP 공식화에 반영.
• 정적 분포의 구조를 활용해 대각 행렬 가중치를 사용한 가중 최소 제곱법을 적용해 QP를 효율적으로 해결.
• 특히 커널 행렬의 최소 특이값을 분석하여 시스템 행렬의 조건수를 분석해 수치적 안정성과 강건성을 확보.

실험 결과

연구 질문

• RQ1 출력 파라미터가 알려져 있거나 근사적으로 알려져 있을 때, 파라미터 출력 HMM의 전이 행렬을 일관되게 추정할 수 있는가?
• RQ2 출력 파라미터 추정치의 오차가 추정된 전이 행렬에 어떻게 전파되는가?
• RQ3 제안된 QP 기반 전이 행렬 추정치는 추정된 출력 파라미터의 작은 변동에 대해 강건한가?
• RQ4 제안된 이단계 방법은 수렴 속도와 정확도 측면에서 표준 바움-웰치 알고리즘을 능가하는가?
• RQ5 HMM과 출력 분포 가족에 대해 약한 조건을 가정할 때, 제안된 방법의 통계적 일치성과 수렴 속도는 어떠한가?

주요 결과

• 제안된 QP 기반 전이 행렬 추정치는 HMM과 출력 분포에 대해 약한 에르고딕성 및 정규성 조건 하에서 渐近 일관성(Asymptotic consistency)을 보인다.
• 추정된 출력 파라미터의 작은 변동에 대해 강건하며, 추가 오차가 $ O\bigl(n^{r} \frac{\rho}{a_0^2 \rho_1^4}\bigr) $ 으로 제한된다. 여기서 $ \rho $ 는 변동 크기, $ \rho_1 $ 은 최소 특이값이며, $ r=1 $ 은 정적 분포 추정, $ r=3/2 $ 은 전이 행렬 추정에 해당한다.
• 실험 결과, EM 초기화 파라미터를 사용한 QP 기반 방법이 동일한 반복 수에서 바움-웰치보다 더 빠르게 수렴하고 더 높은 정확도를 달성한다.
• 출력 파라미터가 정확히 알려져 있을 경우, QP 추정치는 20회 반복 후에도 바움-웰치보다 낮은 오차를 기록한다. 이는 바움-웰치가 아직 수렴하지 않았음에도 불구하고 성능이 뛰어나다는 것을 의미한다.
• 반복 우도 최대화를 피하기 때문에 표본 수가 많을수록 바움-웰치에 비해 계산 비용을 크게 절감한다.
• 시뮬레이션 결과, QP로 추정한 전이 행렬을 바탕으로 바움-웰치를 초기화하면 수렴 속도가 빨라지고 최종 정확도가 향상됨을 보여, 제안된 초기화 전략의 가치를 입증한다.