[논문 리뷰] Unbiased Smoothing using Particle Independent Metropolis-Hastings

Lawrence Middleton, George Deligiannidis외 2명|arXiv (Cornell University)|2019. 02. 05.

Markov Chains and Monte Carlo Methods인용 수 16

한 줄 요약

이 논문은 공통된 난수와 결합된 리샘플링 전략을 사용하여 두 개의 입자 독립 메트로폴리스-하스팅스(PIMH) 체인을 결합함으로써 상태공간 모델에서 비편향 베이지안 스무딩을 위한 새로운, 쉽게 구현 가능한 방법을 제안한다. 이 방법은 기존 입자 필터를 수정하지 않고도 스무딩 기대값에 대한 비편향 추정량을 생성하며, 병렬 계산 환경에서 유효한 신뢰구간을 제공하고, 편향된 대안들보다 실용성과 이론적 안정성 측면에서 뛰어나다.

ABSTRACT

We consider the approximation of expectations with respect to the distribution of a latent Markov process given noisy measurements. This is known as the smoothing problem and is often approached with particle and Markov chain Monte Carlo (MCMC) methods. These methods provide consistent but biased estimators when run for a finite time. We propose a simple way of coupling two MCMC chains built using Particle Independent Metropolis-Hastings (PIMH) to produce unbiased smoothing estimators. Unbiased estimators are appealing in the context of parallel computing, and facilitate the construction of confidence intervals. The proposed scheme only requires access to off-the-shelf Particle Filters (PF) and is thus easier to implement than recently proposed unbiased smoothers. The approach is demonstrated on a Lévy-driven stochastic volatility model and a stochastic kinetic model.

연구 동기 및 목표

• 관측값이 노이즈가 섞여 있는 잠재 마르코프 과정의 사후 분포 하에서 기대값을 추정하는 문제, 즉 스무딩 문제에 대해 비편향 추정량을 개발하는 것.
• 유한한 시간 동안 실행될 경우 일致하지만 편향된 추정량을 생성하는 표준 입자 필터 및 MCMC 방법의 한계를 해결하는 것.
• 복잡한 알고리즘 수정 없이도 시장에서 구할 수 있는 입자 필터에만 액세스할 수 있는 실용적이고 모듈러한 솔루션을 제공하는 것.
• 비편향 추정량을 활용하여 병렬 계산 환경에서 渐近적으로 타당한 신뢰구간을 구축할 수 있도록 하는 것.
• 이전 방법이 실패하는 전이 커널 내에서 랜덤 수의 랜덤 변수를 포함하는 모델까지도 비편향 스무딩의 적용 범위를 확장하는 것.

제안 방법

• 공통된 난수와 동기화된 리샘플링 전략을 사용하여 두 개의 독립된 PIMH 체인을 결합하여 마코프 체인 내의 결합을 유도하는 방법.
• PIMH 알고리즘 내에서 표준 입자 필터(PF)를 제안 분포로 활용하며, 기존 PF의 구현에 대한 수정이 필요하지 않다.
• 결합은 두 체인이 유한 시간 내에 거의 확실히 만날 수 있도록 보장하여, 베르누이 레이스 기법을 통해 비편향 추정량을 생성할 수 있게 한다.
• 두 체인이 만나는 시간을 정지 시간 계획에 활용하여 비편향 추정량을 구성함으로써 추정량의 편향이 0이 되도록 보장한다.
• 전이 커널 내에서 랜덤 수의 랜덤 변수를 포함하는 모델, 예를 들어 레비 기반 과정과 같은 모델에 대해서도 강건한 성능을 보인다.
• 일부 이전의 결합된 방법들과 달리 전이 밀도를 점별로 평가할 필요가 없어져, 복잡한 모델에 대한 적용 가능성이 향상된다.

실험 결과

연구 질문

• RQ1 입자 필터를 수정하거나 전이 밀도의 점별 평가가 필요 없이 상태공간 모델에서 스무딩 기대값에 대한 비편향 추정량을 구성할 수 있는가?
• RQ2 기존 입자 필터 구현과의 호환성과 계산 가능성을 유지하면서도 비편향성을 확보할 수 있는 방법은 무엇인가?
• RQ3 입자 수 $N$의 크기가 결합된 PIMH 체인의 기대 만남 시간과 계산 효율성에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 레비 기반 확률적 변동성 모델과 같이 전이 메커니즘의 크기가 랜덤인 모델에 적용될 수 있는가?
• RQ5 비편향 추정량의 성능은 편향된 대안들에 비해 신뢰구간의 타당성과 분산 제어 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 두 개의 PIMH 체인을 결합함으로써 스무딩 기대값에 대한 비편향 추정량을 생성하며, 병렬 계산 환경에서 유효한 신뢰구간을 제공한다.
• 이 방법은 입자 필터를 수정하지 않고도, 시장에서 구할 수 있는 PF와 결합된 리샘플링 전략에만 의존함으로써 비편향성을 달성한다.
• 500개의 데이터 포인트를 가진 레비 기반 확률적 변동성 모델에 대한 실험 결과, $N=100$개의 입자를 사용할 경우 순간 변동성 $W_t$의 비편향 추정량이 일致하고 잘 추정됨을 확인하였다.
• 1,000회의 실행에서의 만남 시간 분포는 대표본 근사와 잘 일치하여 이론적 가정의 타당성이 검증되었다.
• 비효율성 척도인 $(m-k+1) ext{Var}[H_{k:m}]/( ext{Var}_\pi[h]\sigma^2)$ 는 $m\to\infty$일 때 약 0.92의 이론적 최소값에 수렴하여 높은 계산 효율성을 나타낸다.
• 이 방법은 이전 방법이 실패하는 전이 커널 내에서 랜덤 수의 랜덤 변수를 포함하는 모델, 예를 들어 확률적 생합성 모델에도 적용 가능하다.