[논문 리뷰] De-Sequentialized Monte Carlo: a parallel-in-time particle smoother

Adrien Corenflos, Nicolás Chopin외 1명|arXiv (Cornell University)|2022. 02. 04.

Statistical Methods and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 de-sequentialized 재귀 구조를 기반으로 하는 연관 연산자와 병렬 스캔 알고리즘을 사용하여 T개의 시간 단계에서 O(log T) 스팬 복잡도를 달성하는 병렬 시간 분할 입자 스무딩기인 dSMC를 소개한다. 이는 다핵 프로세서 환경에서 더 빠른 베이지안 스무딩과 매개변수 추론을 가능하게 하며, 이론적 Lp 수렴 경계와 게으른 리샘플링 및 향상된 제안 설계를 통한 분산 감소를 제공한다.

ABSTRACT

Particle smoothers are SMC (Sequential Monte Carlo) algorithms designed to approximate the joint distribution of the states given observations from a state-space model. We propose dSMC (de-Sequentialized Monte Carlo), a new particle smoother that is able to process $T$ observations in $\mathcal{O}(\log T)$ time on parallel architecture. This compares favourably with standard particle smoothers, the complexity of which is linear in $T$. We derive $\mathcal{L}_p$ convergence results for dSMC, with an explicit upper bound, polynomial in $T$. We then discuss how to reduce the variance of the smoothing estimates computed by dSMC by (i) designing good proposal distributions for sampling the particles at the initialization of the algorithm, as well as by (ii) using lazy resampling to increase the number of particles used in dSMC. Finally, we design a particle Gibbs sampler based on dSMC, which is able to perform parameter inference in a state-space model at a $\mathcal{O}(\log(T))$ cost on parallel hardware.

연구 동기 및 목표

• 단일 코어 시스템에서 시간 단계 T에 대해 선형적으로 증가하는 순차적 입자 스무딩기의 계산 병목 현상을 해결하기 위해.
• 표준 SMC에서의 본질적 순차적 의존성을 극복하고, 병렬 아키텍처에서 입자 스무딩에 대해 비선형 스팬 복잡도(O(log T))를 달성하기 위해.
• 벽돌 시간을 크게 줄이며 수렴 성질을 유지하는 확장 가능한 통계적으로 타당한 입자 스무딩기를 개발하기 위해.
• dSMC를 입자 금속 샘플러에 통합하여 대수적 시간 복잡도를 가지는 효율적인 매개변수 추론을 지원하기 위해.
• 특히 고차원 또는 다모달 사후 분포에서 계산 비용을 증가시키지 않고 스무딩 추정치의 분산을 줄이기 위해.

제안 방법

• dSMC는 병렬 스캔(접두합) 알고리즘을 통해 병렬화를 가능하게 하기 위해 순차적 입자 스무딩 재귀를 연관 연산자 기반으로 재구성한다.
• 시간 단계를 이진 트리 구조로 묶어 시간에 대한 탈순차적 재귀를 구성함으로써, 병렬 하드웨어에서 O(log T) 깊이의 계산을 가능하게 한다.
• 매개변수 추론을 위한 비편향 커플링과 입자 금속 샘플러를 지원하기 위해 조건부 dSMC를 활용한다.
• 가용성 있는 입자 쌍에 대해서만 가중치를 온디맨드로 계산함으로써 전체 재계산을 피함으로써 메모리 및 계산 부담을 줄이는 게으른 리샘플링 기법을 도입한다.
• 입자 다양성을 향상하고 분산을 감소시키기 위해 선형 가우시안 상태공간 모델(LGSSM) 근사치를 제안 분포로 사용한다.
• 더 높은 확장성과 메모리 사용 감소를 위해 Murray 등(2016)의 병렬 리샘플링 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 순차적 입자 스무딩의 병렬 처리가 다핵 시스템에서 통계적 정확도를 유지하면서 O(log T) 스팬 복잡도를 달성할 수 있는가?
• RQ2 연관 연산자와 재귀적 분해를 통해 SMC 스무딩기에서의 본질적 순차적 의존성을 어떻게 극복할 수 있는가?
• RQ3 제안된 dSMC 알고리즘의 이론적 수렴 속도는 무엇이며, T에 대한 명시적 의존성을 가진 Lp 노름에서 경계를 가질 수 있는가?
• RQ4 특히 고차원 또는 다모달 사후 분포에서 계산 비용을 증가시키지 않고 스무딩 추정치의 분산을 줄일 수 있는가?
• RQ5 dSMC는 입자 금속 샘플러에 효과적으로 통합되어 대수적 시간 복잡도를 가지는 빠르고 비편향된 매개변수 추론을 가능하게 할 수 있는가?

주요 결과

• dSMC는 스무딩에 대해 O(log T) 스팬 복잡도를 달성하여 기존 순차적 스무딩기의 T에 비례하는 성능 향상이 뚜렷하다.
• 알고리즘은 T에 대해 다항식적으로 증가하는 명시적 Lp 수렴 경계를 제공하여 T가 증가함에 따라 이론적으로 일관성을 유지함을 보장한다.
• 게으른 리샘플링은 전체 가중치 재계산을 피함으로써 메모리 사용량과 계산 오버헤드를 줄여 고차원 환경에서의 확장성을 향상시킨다.
• 제안 분포로 LGSSM 근사치를 사용함으로써 입자 다양성이 크게 향상되고 스무딩 추정치의 분산이 감소한다.
• dSMC는 O(log T) 벽돌 시간 복잡도를 가지는 입자 금속 샘플러를 가능하게 하여 상태공간 모델에서의 베이지안 매개변수 추론에 매우 효율적이다.
• Jacob 등(2019)의 비편향 커플드 스무딩 프레임워크와 호환되어 독립적인 추정치 평균화를 통한 분산 감소가 가능하다.