[논문 리뷰] Static Parameter Estimation for ABC Approximations of Hidden Markov Models

Elena Ehrlich, Ajay Jasra외 1명|arXiv (Cornell University)|2012. 10. 17.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 17인용 수 8

한 줄 요약

이 논문은 관측 밀도가 분석적으로 구할 수 없거나 계산적으로 금기인 경우에 대해 은닉 마르코프 모델(HMM)에 대한 새로운 온라인 매개변수 추정 방법을 제안한다. 이 방법은 순차적 몬테카를로(SMC)를 사용하는 근사 베이지안 계산(ABC)을 활용한다. 논문은 ABC 하에서 로그우도와 그 기울기의 편향이 𝒪(𝑛𝜀)임을 증명하고, 𝜀를 통해 편향을 제어할 수 있는 SMC 기반 동시 변화 확률적 최적화(SPSA) 알고리즘을 개발하여 효율적이고 실시간으로 매개변수를 추정한다.

ABSTRACT

In this article we focus on Maximum Likelihood estimation (MLE) for the static parameters of hidden Markov models (HMMs). We will consider the case where one cannot or does not want to compute the conditional likelihood density of the observation given the hidden state because of increased computational complexity or analytical intractability. Instead we will assume that one may obtain samples from this conditional likelihood and hence use approximate Bayesian computation (ABC) approximations of the original HMM. ABC approximations are biased, but the bias can be controlled to arbitrary precision via a parameter ε>0; the bias typically goes to zero as ε\searrow 0. We first establish that the bias in the log-likelihood and gradient of the log-likelihood of the ABC approximation, for a fixed batch of data, is no worse than \mathcal{O}(nε), n being the number of data; hence, for computational reasons, one might expect reasonable parameter estimates using such an ABC approximation. Turning to the computational problem of estimating $θ$, we propose, using the ABC-sequential Monte Carlo (SMC) algorithm in Jasra et al. (2012), an approach based upon simultaneous perturbation stochastic approximation (SPSA). Our method is investigated on two numerical examples

연구 동기 및 목표

• 관측 밀도가 해석적으로 구할 수 없거나 계산적으로 금기인 경우 HMM에서 정적 매개변수 추정 문제를 해결하기 위해.
• 고정된 데이터 세트에서 ABC 근사치가 로그우도와 그 기울기에 미치는 편향을 분석하기 위해.
• ABC와 순차적 몬테카를로를 사용하여 계산적으로 효율적인 온라인 추정 방법을 개발하기 위해.
• ABC 근사치의 편향을 허용 오차 파라미터 𝜀를 통해 제어할 수 있도록 하고, 수렴에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 해석적으로 계산할 수 없는 관측 밀도 𝑔𝜃(𝑦𝑛|𝑥𝑛)의 명시적 평가가 필요 없도록 근사 베이지안 계산(ABC)을 사용한다.
• ABC를 사용한 순차적 몬테카를로(SMC)를 적용하여 ABC 근사 하에서 우도와 그 기울기를 순차적으로 근사한다.
• 수렴 보장을 갖춘 동시 변화 확률적 최적화(SPSA) 알고리즘을 사용하여 온라인 매개변수 추정을 수행한다.
• 고정된 데이터 배치 크기 𝑛에 대해 ABC 근사 로그우도와 그 기울기의 편향을 분석하고, 이 편향이 𝒪(𝑛𝜀)로 유계임을 증명한다.
• 측도의 입자 기반 표현과 변화 기반 기울기 추정을 사용하여 명시적 우도 평가 없이 온라인 학습을 가능하게 한다.
• 진짜 필터와 ABC 근사 필터의 차이에 대한 이론적 경계를 확립하여 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 HMM에서 ABC 근사치를 사용할 경우 로그우도와 그 기울기에 얼마나 큰 편향이 발생하는가?
• RQ2 관측 밀도가 해석적으로 구할 수 없는 경우 HMM에 대해 온라인 매개변수 추정 방법을 개발할 수 있는가?
• RQ3 ABC 근사치의 편향을 어떻게 제어하여 일관된 매개변수 추정을 보장할 수 있는가?
• RQ4 제안된 SMC-SPSA 알고리즘의 온라인 HMM 매개변수 추정에 대한 계산 비용과 수렴 행동은 어떠한가?

주요 결과

• 고정된 데이터 배치 크기 𝑛에 대해 ABC 근사 로그우도와 그 기울기의 편향은 𝒪(𝑛𝜀)로 유계이며, 𝜀→0일 때 편향을 제어할 수 있다.
• 제안된 SMC-SPSA 알고리즘은 입자 수 𝑁에 대해 계산 비용 𝒪(𝑁)로 HMM의 온라인 실시간 매개변수 추정을 가능하게 한다.
• 이론적 분석을 통해 진짜 필터와 ABC 근사 필터의 차이는 초기 측도와 매개변수에 대해 일정한 상수 배수로 유계임을 확인하였다.
• 이 방법은 해석적으로 계산할 수 없는 관측 밀도에 대해 강건하여, 기존 SMC 방법이 실패하는 복잡한 HMM에서 우도 기반 추론을 가능하게 한다.
• 두 가지 수치 예제에서의 경험적 검증을 통해, 다양한 𝜀 값과 입자 수에서 방법의 효과성과 수렴 행동이 확인되었다.