[논문 리뷰] Bayesian Nonparametric Higher Order Hidden Markov Models

Abhra Sarkar, David B. Dunson|arXiv (Cornell University)|2018. 05. 30.

Bayesian Methods and Mixture Models참고 문헌 6인용 수 5

한 줄 요약

이 논문은 텐서 분해를 사용하여 알려지지 않은 잠재 상태 수와 전이 순서를 유연하게 추정하는 베이지안 비모수 고계 숨은 마르코프 모델을 제안한다. 이 모델은 자동으로 지연 시간을 선택하고 복잡한 고계 의존성을 포착할 수 있으며, 시뮬레이션과 실제 응용에서 일계 및 고계 경쟁 모델보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of flexible modeling of higher order hidden Markov models when the number of latent states and the nature of the serial dependence, including the true order, are unknown. We propose Bayesian nonparametric methodology based on tensor factorization techniques that can characterize any transition probability with a specified maximal order, allowing automated selection of the important lags and capturing higher order interactions among the lags. Theoretical results provide insights into identifiability of the emission distributions and asymptotic behavior of the posterior. We design efficient Markov chain Monte Carlo algorithms for posterior computation. In simulation experiments, the method vastly outperformed its first and higher order competitors not just in higher order settings, but, remarkably, also in first order cases. Practical utility is illustrated using real world applications.

연구 동기 및 목표

• 고계 숨은 마르코프 모델에서 알려지지 않은 잠재 상태 수와 알려지지 않은 진짜 의존 순서에 도전하는 것.
• 사전에 순서를 지정하지 않고도 관련 지연 시간을 적응적으로 선택할 수 있는 민감하고 비모수적 프레임워크를 개발하는 것.
• 전이 확률의 텐서 기반 표현을 사용하여 지연 시간 간의 복잡한 고계 상호작용을 모델링하는 것.
• 발생 분포의 식별성과 점근적 사후 일致성 보장.
• 스케일 가능성을 위한 효율적인 사후 계산을 위한 맞춤형 MCMC 알고리즘 제공.

제안 방법

• 고계 전이 확률을 저랭크 분해로 표현하기 위해 텐서 분해를 사용하여 민감하고 효율적인 모델링을 가능하게 한다.
• 모르는 상태별 발생 밀도와 유연한 형태를 허용하기 위해 발생 분포에 대해 디리클레 프로세스 혼합이라는 비모수적 사전분포를 적용한다.
• 사전에 정해진 최대 순서까지의 고계 마르코프 의존성을 코딩하기 위해 전이 확률 배열에 텐서 구조 사전분포를 도입한다.
• 텐서 및 비모수적 구조에 맞게 조정된 게브스 샘플링과 메트로폴리스-하스팅스 업데이트를 사용하여 사후 계산 절차를 유도한다.
• 계산 가능성을 확보하면서도 모델의 민감성을 유지하기 위해 텐서 분해에 대한 잘라내기 기법을 도입한다.
• 약간의 규칙성 조건 하에 사후 일치성과 발생 분포의 식별성에 대한 이론적 조건을 확립한다.

실험 결과

연구 질문

• RQ1 베이지안 비모수 모델은 고계 숨은 마르코프 모델에서 고정된 순서를 가정하지 않고도 관련 지연 시간을 자동으로 선택할 수 있는가?
• RQ2 텐서 기반 분해는 잠재 상태 시계열에서 과거 상태 간의 복잡한 고계 상호작용을 얼마나 잘 포착할 수 있는가?
• RQ3 제안된 방법은 예측 정확도와 모델 적합도 측면에서 일계 및 고정된 고계 HMM보다 뛰어나게 성능을 발휘하는가?
• RQ4 사후 분포의 이론적 성질, 특히 식별성과 일관성 측면에서 어떻게 되는가?
• RQ5 실제 고차원 시계열 데이터에 대해 MCMC 추론 절차는 얼마나 확장 가능하고 효율적인가?

주요 결과

• 모의 실험에서 제안된 방법은 일계 데이터 설정에서도 일계 및 고계 파rametric HMM보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 자동으로 관련 지연 시간만을 식별하고 유지하여 과적합 없이 효과적인 모델 선택을 보였다.
• 텐서 분해를 통해 기존 HMM이 포착하지 못하는 복잡한 고계 의존성을 정확하게 표현할 수 있었다.
• 이론적 분석을 통해 약간의 규칙성 조건 하에 사후 일치성과 발생 분포의 식별성이 확인되었다.
• 효율적인 MCMC 알고리즘이 실제 시계열 데이터에 대한 실용적인 추론을 가능하게 하였으며, 다양한 응용 분야에서 강력한 경험적 성능을 보였다.
• 특히 진짜 순서가 알려지지 않았거나 잘못 지정된 경우에 모델의 오분류에 대해 뛰어난 강건성을 보였다.