[논문 리뷰] Infinite Structured Hidden Semi-Markov Models

Jonathan H. Huggins, Frank Wood|arXiv (Cornell University)|2014. 06. 30.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 6

한 줄 요약

이 논문은 상태 체류 시간을 명시적으로 모델링할 수 있는 베이지안 비모수 프레임워크인 무한 구조적 은닉 반마르코프 모델(ISHSMM)을 소개한다. 이는 구조적 전이(예: 왼쪽에서 오른쪽으로의 HMM)를 가진 무한 은닉 마르코프 모델에서 상태 체류 시간을 명시적으로 모델링할 수 있도록 한다. 상태에 대한 차이나 레스토랑 프로세스(CRP) 사전분포와 지속 시간 모델링을 위한 감마-감마 콘jugate 사전분포를 사용하여, 사전에 상태 수를 지정하지 않고도 알려지지 않은 변화점과 지속적인 상태 체류 시간을 자동으로 추론할 수 있다.

ABSTRACT

This paper reviews recent advances in Bayesian nonparametric techniques for constructing and performing inference in infinite hidden Markov models. We focus on variants of Bayesian nonparametric hidden Markov models that enhance a posteriori state-persistence in particular. This paper also introduces a new Bayesian nonparametric framework for generating left-to-right and other structured, explicit-duration infinite hidden Markov models that we call the infinite structured hidden semi-Markov model.

연구 동기 및 목표

• 은닉 마르코프 모델에서 알려지지 않은 무한한 상태의 수를 다루는 과제 해결.
• 표준 무한 HMM이 빠른 상태 전환을 일으키는 한계를 극복하기 위해 장기적인 상태 체류 시간을 장려함.
• 왼쪽에서 오른쪽 HMM을 포함한, 구조적이고 명시적인 지속 시간을 갖는 무한 HMM을 구성하는 일반적인 프레임워크 개발.
• 고정된 세그먼트 수를 가정하지 않고 시퀀스 데이터의 변화점에 대한 비모수적 추론 가능.
• 기존의 게이브스 샘플링 기법을 확장한 확장 가능한 추론 알고리즘 제공.

제안 방법

• 무한한 수의 상태에 대해 차이나 레스토랑 프로세스(CRP) 사전분포를 사용하는 생성 모델로 무한 구조적 HMM(ISHSMM) 제안.
• 상태 체류 시간에 대한 감마-감마 콘jugate 사전분포를 사용한 명시적 지속 시간 모델링 도입으로 지속성에 직접적인 제어 가능.
• 상태 전이를 비감소하는 인덱스로 제한함으로써 왼쪽에서 오른쪽 순서 등 구조적 전이 제약 조건을 구현.
• 게이브스 샘플링을 사용한 후행 추론을 구현하며, CRP 및 감마-감마 계층의 조건부 분포를 활용한 콘주게이트 사전분포 활용.
• 합성 데이터와 실제 데이터(탄광 재해 수)에 모두 모델을 적용하여 상태, 지속 시간, 변화점에 대한 전체 후행 샘플링 수행.
• 관측 데이터의 유연한 모델링을 위해 관측 분포에 대한 비모수적 사전분포로 딜레트 프로세스 사용.

실험 결과

연구 질문

• RQ1 구조적 전이 제약 조건을 유지하면서도 상태 체류 시간을 명시적으로 모델링할 수 있는 베이지안 비모수 모델을 구축할 수 있는가?
• RQ2 무한 HMM을 어떻게 확장하여 상태 수를 고정하지 않고도 왼쪽에서 오른쪽 또는 기타 구조적 전이 패tern을 지원할 수 있는가?
• RQ3 ISHSMM은 사전 가정 없이 시퀀스 데이터의 올바른 변화점 수를 얼마나 정확하게 자동으로 추론할 수 있는가?
• RQ4 특히 지속 시간 비율 사전분포에 대해 하이퍼파ram터 선택에 얼마나 민감한가?
• RQ5 장기적이고 지속적인 상태를 가진 데이터 세그먼테이션에서 표준 무한 HMM보다 ISHSMM이 성능을 뛰어나게 할 수 있는가?

주요 결과

• 탄광 재해 데이터셋에서 ISHSMM은 약 40년차와 100년차 무렵에 두 개의 주요 변화점을 성공적으로 추론하였다. 이는 이전 연구와 일치한다.
• 합성 데이터에 대한 후행 추론 결과, 모델은 진짜 상태 평균과 지속 시간 비율을 높은 후행 신뢰도로 정확히 복원하였다. 특히 첫 네 개 상태에 대해 높은 신뢰도를 보였다.
• 마지막 상태의 지속 시간 비율에 대한 후행 분포는 기대한 바와 같이 높은 분산을 보였다. 이는 시퀀스의 끝에서 관측되지 않은 지속 시간으로 인한 것이다.
• 감마 분포의 하이퍼파ram터에 대해 지속 시간 비율 사전분포에 대해 모델은 하이퍼파ram터 선택에 강건했으며, αd 값이 20에서 200 사이의 다양한 범위에서도 유사한 결과를 보였다.
• 명시적 지속 시간 모델링를 통해 장기적인 체류 시간을 장려함으로써 ISHSMM은 빠른 상태 전환을 효과적으로 방지하였으며, 세그먼테이션 품질에서 표준 무한 HMM을 능가하였다.
• 모델은 상태 수와 변화점 수에 대해 비모수적 추론을 지원하여, 시퀀스 데이터의 세그먼트 구조를 자동으로 탐지할 수 있다.