[논문 리뷰] Parallel tempering as a mechanism for facilitating inference in hierarchical hidden Markov models

Giada Sacchi, Ben Swallow|arXiv (Cornell University)|2020. 11. 19.

Bayesian Methods and Mixture Models참고 문헌 37인용 수 9

한 줄 요약

이 논문은 고차원적이고 상관관계가 강한 매개변수 공간에서 계층적 숨은 마르코프 모델(HHMM)의 베이지안 추론을 위한 계산적 성능 향상으로 병렬 온도법을 제안한다. 이는 MCMC의 혼합성과 수렴성을 향상시킨다. 연구에서는 병렬 온도법이 샘플링 효율성과 多모달 탐색을 크게 향상시키지만, 온도 스케줄과 제안 분포의 철저한 튜닝에 따라 성능이 크게 좌우됨을 보여준다.

ABSTRACT

The study of animal behavioural states inferred through hidden Markov models and similar state switching models has seen a significant increase in popularity in recent years. The ability to account for varying levels of behavioural scale has become possible through hierarchical hidden Markov models, but additional levels lead to higher complexity and increased correlation between model components. Maximum likelihood approaches to inference using the EM algorithm and direct optimisation of likelihoods are more frequently used, with Bayesian approaches being less favoured due to computational demands. Given these demands, it is vital that efficient estimation algorithms are developed when Bayesian methods are preferred. We study the use of various approaches to improve convergence times and mixing in Markov chain Monte Carlo methods applied to hierarchical hidden Markov models, including parallel tempering as an inference facilitation mechanism. The method shows promise for analysing complex stochastic models with high levels of correlation between components, but our results show that it requires careful tuning in order to maximise that potential.

연구 동기 및 목표

• 고차원성과 강한 매개변수 상관관계로 인해 발생하는 계층적 HMM에서의 베이지안 추론의 계산적 과제를 해결하기 위해.
• 동물 이동 데이터를 위한 복잡한 HHMM에서 MCMC 수렴성과 혼합성을 향상시키기 위해 병렬 온도법이 효과적인지 평가하기 위해.
• 이전 연구에서 구한 최대우도 추정치와 비교하여 베이지안 MCMC 결과의 정확성과 강인성을 평가하기 위해.
• 특히 온도 스케줄과 제안 분포 설계와 같은 튜닝 전략이 병렬 온도법 성능을 최대화하는 데 미치는 영향을 조사하기 위해.
• 수렴성 평가를 위해 전체 매개변수 집합이나 과도산산화된 시작점에서 시작하는 다수의 체인에 병렬 온도법을 적용하는 것이 가능하고 유용한지 탐색하기 위해.

제안 방법

• 항만 고래의 잠수 데이터를 위한 계층적 HMM에서 매개변수를 추정하기 위해 메트로폴리스-하스팅스 MCMC 알고리즘을 사용한 베이지안 프레임워크를 적용하였다.
• 단일 위치 및 블록 업데이트 MCMC 샘플러를 구현하였으며, 혼합성을 향상시키기 위해 다변량 정규 분포 제안을 사용한 블록 샘플링을 적용하였다.
• 온도가 점차 증가하는 후행 분포의 온도 조절 시퀀스를 도입하여 병렬 온도법을 적용하였으며, 이로써 체인 간 교환을 가능하게 하였다.
• 이동 확률 및 기타 매개변수에 대해 제안 표준편차를 적응적으로 튜닝한 랜덤 워크 메트로폴리스-하스팅스 알고리즘을 사용하였다.
• 다양한 매개변수 업데이트 방식에서 표준 MCMC와 병렬 온도법의 결과를 비교하여 수렴성과 정확성을 평가하였다.
• 다양한 과도산산화된 시작점에서 초기화된 다수의 체인을 사용하여 수렴성을 평가하고, 유효 표본 크기와 잠재적 척도 감소율을 분석하였다.

실험 결과

연구 질문

• RQ1 고강한 매개변수 상관관계와 다모달 후행 분포를 가진 계층적 HMM에서 병렬 온도법이 MCMC 혼합성과 수렴성에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 HHMM에서 이동 확률과 상태에 의존하는 분포를 추정할 때 병렬 온도법의 성능이 표준 MCMC보다 어떻게 다를까?
• RQ3 온도 스케줄과 제안 분포의 튜닝이 HHMM에서의 베이지안 추론의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ4 동일한 계층적 모델 구조에서 베이지안 MCMC 추정치가 최대우도 추정치와 얼마나 일치하는가?
• RQ5 전체 매개변수 집합이나 일부 매개변수에만 병렬 온도법을 적용하는 것이 가능하고 유익한가? 이는 샘플링 효율성에 어떤 영향을 미치는가?

주요 결과

• 병렬 온도법은 계층적 HMM에서 흔히 발생하는 다모달 또는 강하게 상관관계가 있는 매개변수 공간에서 후행 분포 탐색을 크게 향상시킨다.
• 두 번째 MCMC 알고리즘—이동 확률과 정적분포의 점진적 수렴을 특징으로 하는—첫 번째 알고리즘의 고정 근사치를 사용한 것보다 베이지안 및 최대우도 기준치에 더 가까운 추정치를 도출하였다.
• 유사한 점 추정치가 나왔음에도 불구하고, 병렬 온도법은 혼합성을 향상시키고 자동상관도를 감소시켜 더 높은 유효 표본 크기와 더 신뢰할 수 있는 후행 추론을 가능하게 하였다.
• 이 방법의 성능는 튜닝에 매우 민감하며, 최적의 결과를 얻기 위해서는 온도 스케줄과 제안 분포의 철저한 선택이 필수적이다.
• 과도산산화된 시작점에서 초기화된 다수의 체인과 병렬 온도법을 병행함으로써 수렴 진단 및 체인 혼합성이 향상되었다.
• 베이지안 추론은 최대우도 방법보다 계산적으로 더 비용이 들지만, 다모달성 처리와 생물학적 사전 지식의 통합이라는 장점을 제공한다.