[논문 리뷰] Stochastic Gradient MCMC Methods for Hidden Markov Models

Yi-An Ma, Nicholas J. Foti외 1명|arXiv (Cornell University)|2017. 06. 14.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 15

한 줄 요약

이 논문은 시간적 종속성을 다루기 위해 경계 메시지 전파를 활용하고 경계 확률의 기울기를 이용하여 대규모 순차적 데이터에 대한 효율적인 베이지안 추론을 가능하게 하는 확률적 경사 MCMC 알고리즘을 제안한다. 이 방법은 배치 MCMC 대비 최대 1,000배 빠른 속도를 기록하면서도 이론적 타당성을 유지하며 비공액(emission) 분포도 지원한다.

ABSTRACT

Stochastic gradient MCMC (SG-MCMC) algorithms have proven useful in scaling Bayesian inference to large datasets under an assumption of i.i.d data. We instead develop an SG-MCMC algorithm to learn the parameters of hidden Markov models (HMMs) for time-dependent data. There are two challenges to applying SG-MCMC in this setting: The latent discrete states, and needing to break dependencies when considering minibatches. We consider a marginal likelihood representation of the HMM and propose an algorithm that harnesses the inherent memory decay of the process. We demonstrate the effectiveness of our algorithm on synthetic experiments and an ion channel recording data, with runtimes significantly outperforming batch MCMC.

연구 동기 및 목표

• 대규모 순차적 데이터 세트에서 강한 시간적 종속성을 가지는 HMM의 베이지안 추론을 확장하는 데 도전한다.
• 비.i.i.d. 데이터와 잠재 이산 상태가 존재하는 상황에서도 후행 분포에서 올바른 渐近적 표본 추출을 유지하는 확률적 경사 MCMC 알고리즘을 개발한다.
• 기본 MCMC나 변분 방법에서 일반적으로 비가능한 비공액 발산 분포를 지원하는 효율적인 추론을 가능하게 한다.
• 버퍼링과 혼합 시간 기반 하위체인 간격을 통한 순차적 데이터의 종속성 해소를 위한 이론적으로 타당한 방법을 제공한다.
• 실제 및 시뮬레이션 데이터에서 추정 정확도를 유지하면서 배치 MCMC 대비 뚜렷한 계산적 성능 향상을 입증한다.

제안 방법

• 이 방법은 직접적인 이산 잠재 상태 추론을 피하기 위해 HMM의 경계 가능도에 기반하여 작동하며, 작은 하위체인에서 유도된 확률적 기울기를 계산한다.
• 메시지 전파를 제한하기 위해 버퍼링 전략을 사용하여 전체 전진-역전진 계산을 근사화하며, 각 하위체인 주변의 짧은 창에 국한하여 메시지 전파를 수행함으로써 계산 비용을 줄인다.
• 버퍼 길이와 하위체인 간격은 무작위 동역학 시스템을 이용해 이론적으로 정당화되어 있으며, 하위체인 계산 간 상관 없음을 보장하고 올바른 정적 분포를 유지한다.
• 하위체인은 HMM의 혼합 시간에 따라 간격을 두어 근사 독립성을 확보함으로써 유효한 확률적 기울기 업데이트를 가능하게 한다.
• 알고리즘은 리만형 랑주앙 역학(RLD)에 기반하여, 이론적 수렴 보장을 갖춘 체계적인 SG-MCMC 프레임워크를 제공한다.
• 비공액 사전과 발산 모델을 지원하여, 표준 공액 가수족을 넘는 탄력적인 베이지안 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비.i.i.d. 순차적 데이터인 HMM에 대해 확률적 경사 MCMC를 효과적으로 적용할 수 있는가? 이 경우 종속성을 깨기 위해 미니배치를 사용해야 한다.
• RQ2 마르코프 과정의 본질적 기억 감쇠 특성을 어떻게 활용하여 지역 하위체인만으로 전체 후행 기울기를 근사화할 수 있는가?
• RQ3 하나의 이론적 근거에 기반해 버퍼 크기와 하위체인 간격을 어떻게 선택하여 상관 없는 업데이트와 정확한 정적 분포를 보장할 수 있는가?
• RQ4 제안된 방법이 일반적으로 확장 가능한 베이지안 방법에서 비가능한 비공액 발산 분포를 갖는 경우에도 정확한 후행 추론을 달성할 수 있는가?
• RQ5 이 알고리즘이 실세계 순차적 데이터에서 배치 MCMC 대비 런타임 성능 향상을 얼마나 높일 수 있으며, 추정 정확도는 유지하는가?

주요 결과

• SG-RLD 알고리즘은 1MHz 이온 채널 기록에서 배치 RLD 대비 1,000배 빠른 속도를 기록했으며, 10분 이내에 수렴을 완료했고, 배치 MCMC는 한 번의 반복조차 완료하지 못했다.
• 로그정규 분포를 갖는 시뮬레이션 데이터에서 비공액 모델은 공액 모델보다 더 적은 반복 수로 정확한 전이 행렬 추정치에 수렴했다.
• 비공액 HMM 모델은 참값인 상태 수 K=2를 정확히 선택한 반면, 공액 모델은 과적합되어 K=4로 과도하게 상태 수를 선택했다.
• 알고리즘은 이온 채널 데이터에서 타당한 세그멘테이션과 정확한 매개변수 추정치를 생성했으며, 배치 MCMC 수준의 정확도를 유지하면서도 시간은 훨씬 적게 소요되었다.
• 짧은 시퀀스와 긴 시퀀스 모두에 대해 시뮬레이션 HMM에서 강건한 성능을 보였고, 전이 행렬 추정치의 오차 감소가 이론적 기대와 일치했다.
• 버퍼 길이와 하위체인 간격에 대한 이론적 프레임워크는 실증적으로 검증되었으며, 이로 인해 확률적 기울기가 편향 없고 정적 분포가 유지됨을 보장했다.