[논문 리뷰] Markov Chain Sampling for Non-linear State Space Models Using Embedded Hidden Markov Models

Radford M. Neal|ArXiv.org|2003. 05. 01.

Machine Learning and Algorithms참고 문헌 1인용 수 16

한 줄 요약

이 논문은 비선형 상태공간 모델에 대해 임베디드 히든 마르코프 모델(HMM)을 사용하여 모든 은닉 상태를 동시에 효율적으로 갱신하는 새로운 마르코프 체인 샘플링 방법을 제안한다. 각 시간 단계에서 후보 상태 풀을 생성하고 보조 HMM에서 전진-역방향 동적 프rogramming을 적용함으로써, 특히 상태 간 시간에 따른 강한 의존성이 있는 경우 단일 상태 메트로폴리스 갱신보다 더 빠른 혼합 속도를 달성한다.

ABSTRACT

I describe a new Markov chain method for sampling from the distribution of the state sequences in a non-linear state space model, given the observation sequence. This method updates all states in the sequence simultaneously using an embedded Hidden Markov model (HMM). An update begins with the creation of a ``pool'' of K states at each time, by applying some Markov chain update to the current state. These pools define an embedded HMM whose states are indexes within this pool. Using the forward-backward dynamic programming algorithm, we can then efficiently choose a state sequence at random with the appropriate probabilities from the exponentially large number of state sequences that pass through states in these pools. I show empirically that when states at nearby times are strongly dependent, embedded HMM sampling can perform better than Metropolis methods that update one state at a time.

연구 동기 및 목표

• 이웃 상태 간 강한 의존성이 있는 비선형 상태공간 모델에서 전통적인 마르코프 체인 몽테카를로 방법의 느린 혼합 문제를 해결하기 위해.
• 은닉 상태 시퀀스의 모든 상태를 한 번에 갱신할 수 있는 방법을 개발하기 위해.
• 히든 마르코프 모델의 전진-역방향 알고리즘의 계산 효율성을 활용하여 비선형이고 비정규 분포를 가진 상태공간 모델에서 복잡한 후행 분포를 샘플링하기 위해.
• 임베디드 HMM 샘플링이 표준 단일 상태 메트로폴리스 갱신 대비 수렴 속도와 혼합 품질 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 시간점에서 현재 상태와 그 역전이(R̃_t)를 사용하여 전이 확률을 적용함으로써, 대칭적인 이웃 영역을 형성하고 K개의 후보 상태 풀을 생성한다.
• 각 시간의 풀 내부의 인덱스를 상태로 하는 임베디드 HMM을 정의하고, 원본 모델의 전이 및 관측 밀도에서 유도된 전이 확률을 사용한다.
• 전진-역방향 알고리즘을 사용하여 관측값을 고려한 각 상태 시퀀스가 풀을 통과하는 후행 확률을 계산함으로써, 관측값이 주어졌을 때 상태 시퀀스의 조건부 분포에서 정확한 샘플링을 가능하게 한다.
• 풀 분포 ρ_t에 대해 가역 마르코프 체인을 사용하여 제안 확률을 구성함으로써, 목표 후행 분포 π의 세부 균형 조건과 불변성을 확보한다.
• 전진-역방향 계산에서 적절한 가중치 유지의 위해, 풀 내 중복 상태를 별개의 인덱스로 간주한다.
• 모델의 우도와 풀 분포의 비율을 임베디드 HMM의 가중치로 사용하여, 시퀀스에 대한 조건부 분포를 효율적으로 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 임베디드 HMM을 통한 동시 상태 갱신이 비선형 상태공간 모델의 마르코프 체인 샘플링에서 혼합 속도를 크게 향상시킬 수 있는가?
• RQ2 임베디드 HMM 샘플링의 성능은 수렴 속도와 혼합 효율성 측면에서 단일 상태 메트로폴리스 갱신과 비교해 어떻게 되는가?
• RQ3 풀 크기 K와 풀 분포 선택(예: N(0,1) 대비 데이터 기반 분포)이 샘플링 효율성에 어떤 영향을 미치는가?
• RQ4 진짜 상태 시퀀스가 강한 시간적 의존성과 다중모달 후행 불확실성을 보일 경우에도 이 방법은 여전히 효과적인가?

주요 결과

• 강한 시간적 의존성이 있는 비선형 상태공간 모델에서 임베디드 HMM 샘플링은 두 번의 갱신 후에 진짜 기저 상태와 거의 정확하게 일치하는 상태 시퀀스를 생성함으로써 빠른 수렴을 달성했다.
• 반면, 단일 상태 메트로폴리스 갱신은 정상적인 상태 특성을 거의 접근하기 위해 100회 이상의 반복이 필요했고, 여전히 낮은 혼합 속도와 높은 자기상관을 보였다.
• 999회의 메트로폴리스 반복 기간 동안 시간 200의 상태는 -1 근처 영역에 도달한 적이 없었으며, 이는 후행 분포의 탐색이 열악했음을 시사한다.
• 임베디드 HMM 방법은 다중모달 후행 불확실성을 성공적으로 포착했으며, 높은 모호성 영역에서 +1과 -1 근처 상태를 오가는 것을 추적 플롯을 통해 확인할 수 있었다.
• 단일 임베디드 HMM 갱신으로 인해 상태 시퀀스에 큰 의미 있는 변화가 발생했으며, 예를 들어 30개 시간 단위 창에서 상태가 -1 근처에서 +1 근처로 이동하는 등 효과적인 전역 이동이 이루어졌다.
• R에서 단일 상태 메트로폴리스보다 약 30배 느린 반복 속도에도 불구하고, 임베디드 HMM 방법의 뛰어난 혼합 속도 덕분에 전체적으로 훨씬 더 효율적인 샘플링이 이루어졌다.