[논문 리뷰] Iterated Block Particle Filter for High-dimensional Parameter Learning: Beating the Curse of Dimensionality

Ning Ning, Edward L. Ionides|arXiv (Cornell University)|2021. 10. 20.

Bayesian Methods and Mixture Models참고 문헌 38인용 수 11

한 줄 요약

이 논문은 비선형, 비정규, 부분 관측된 확률적 과정에서 고차원 매개변수 학습을 위한 새로운 알고리즘인 반복 블록 입자 필터(Iterated Block Particle Filter, IBPF)를 제안한다. 입자 필터링 프레임워크 내에서 블록별 리샘플링과 반복 필터링을 조합함으로써 IBPF는 차원의 극복(curse of dimensionality)을 효과적으로 완화하며, 황열 전파 모델에서 기존 방법들인 반복 엔semble 칼만 필터와 반복 필터링 대비 우수한 수렴성과 우도 최대화 성능을 보여준다.

ABSTRACT

Parameter learning for high-dimensional, partially observed, and nonlinear stochastic processes is a methodological challenge. Spatiotemporal disease transmission systems provide examples of such processes giving rise to open inference problems. We propose the iterated block particle filter (IBPF) algorithm for learning high-dimensional parameters over graphical state space models with general state spaces, measures, transition densities and graph structure. Theoretical performance guarantees are obtained on beating the curse of dimensionality (COD), algorithm convergence, and likelihood maximization. Experiments on a highly nonlinear and non-Gaussian spatiotemporal model for measles transmission reveal that the iterated ensemble Kalman filter algorithm (Li et al. (2020)) is ineffective and the iterated filtering algorithm (Ionides et al. (2015)) suffers from the COD, while our IBPF algorithm beats COD consistently across various experiments with different metrics.

연구 동기 및 목표

• 부분 관측된 비선형 및 비정규 확률적 과정에서 고차원 매개변수 추론 문제를 해결하기 위해.
• 기존 입자 필터링 및 반복 필터링 방법이 애초에 악영향을 미치는 차원의 극복(curse of dimensionality, COD)을 극복하기 위해.
• 일般 상태공간과 임의의 그래프 구조를 가진 그래픽 상태공간 모델을 위한 확장 가능하고 이론적으로 타당한 알고리즘 개발을 위해.
• 황열 전파 모델과 같은 복잡한 시공간 시스템에서 더 나은 수렴성과 우도 최대화를 달성하기 위해.

제안 방법

• IBPF 알고리즘은 고차원 매개변수 공간을 블록으로 분할하여 국소적 리샘플링을 가능하게 하고 입자 분해를 줄인다.
• 입자 필터 추정치를 사용해 매개변수 블록을 순차적으로 업데이트하는 반복 필터링을 적용하여 반복 과정에서 사후 분포 근사치를 향상시킨다.
• 순차적 몬테카를로 원리를 사용하며, 블록별 리샘플링을 통해 고차원 환경에서 입자 다양성을 유지하고 분산을 줄인다.
• 일般 상태공간, 임의의 전이 밀도, 그리고 융통성 있는 그래프 구조를 지원하여 복잡한 시공간 모델에의 적용 가능성을 높인다.
• 알고리즘 수렴성, 우도 최대화, 차원의 극복 극복에 대한 이론적 보장을 도출한다.
• 매개변수 업데이트를 블록 간에 분리함으로써 계산 효율성과 고차원 시스템으로의 확장 가능성을 설계한다.

실험 결과

연구 질문

• RQ1 입자 필터링 접근법은 비선형 및 비정규 모델의 고차원 매개변수 학습에서 차원의 극복 문제를 효과적으로 완화할 수 있는가?
• RQ2 IBPF의 성능은 고차원 비정규 설정에서 반복 엔셈블 칼만 필터와 표준 반복 필터링과 비교해 어떻게 되는가?
• RQ3 블록별 리샘플링 전략은 복잡한 그래픽 상태공간 모델에서 수렴성과 우도 추정에 얼마나 기여하는가?
• RQ4 IBPF 알고리즘은 다양한 시공간 모델 구조와 매개변수 차원에서 이론적 일致성과 확장 가능성을 유지하는가?
• RQ5 IBPF는 고차원 부분 관측 동역학을 가진 실제 시스템, 예를 들어 황열 전파 모델에서 신뢰할 수 있는 추론을 달성할 수 있는가?

주요 결과

• 강한 비선형성과 비정규성으로 인해 반복 엔셈블 칼만 필터는 황열 전파 모델에서 수렴하지 못한다.
• 표준 반복 필터링은 매개변수 차원 증가에 따라 성능이 악화되는 차원의 극복 문제를 겪는다.
• IBPF는 로그우도 및 매개변수 복원 정확도를 포함한 여러 지표에서 두 기준 방법보다 일관되게 뛰어난 성능을 보인다.
• 이론적 분석을 통해 IBPF가 차원의 극복 문제를 극복하며, 수렴성과 우도 최대화 보장이 있음을 확인한다.
• 실험 결과 IBPF는 고차원 복잡 시스템에서도 안정적인 입자 다양성과 정확한 사후 추정을 유지함을 보여준다.
• 블록별 리샘플링 전략은 전체 매개변수 리샘플링 대비 입자 효율성 향상과 분해 감소에 크게 기여한다.