[논문 리뷰] A Stable Particle Filter in High-Dimensions

Alex Beskos, Dan Crisan외 3명|arXiv (Cornell University)|2014. 12. 11.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 14인용 수 26

한 줄 요약

이 논문은 고차원 상태공간 모델에서 입자 필터링의 안정성을 향상시키기 위해 고안된 공간-시간 입자 필터를 소개한다. 공간-시간 분해와 순차적 리샘플링을 활용함으로써, 계산 비용이 O(nNd²)로 스케일링되는 일관된 몬테카를로 추정을 달성하며, 특히 i.i.d. 및 마르코프성 구조를 가진 경우 표준 입자 필터보다 더 뛰어난 확장성을 보인다.

ABSTRACT

We consider the numerical approximation of the filtering problem in high dimensions, that is, when the hidden state lies in $\mathbb{R}^d$ with $d$ large. For low dimensional problems, one of the most popular numerical procedures for consistent inference is the class of approximations termed particle filters or sequential Monte Carlo methods. However, in high dimensions, standard particle filters (e.g. the bootstrap particle filter) can have a cost that is exponential in $d$ for the algorithm to be stable in an appropriate sense. We develop a new particle filter, called the \emph{space-time particle filter}, for a specific family of state-space models in discrete time. This new class of particle filters provide consistent Monte Carlo estimates for any fixed $d$, as do standard particle filters. Moreover, we expect that the state-space particle filter will scale much better with $d$ than the standard filter. We illustrate this analytically for a model of a simple i.i.d. structure and one of a Markovian structure in the $d$-dimensional space-direction, when we show that the algorithm exhibits certain stability properties as $d$ increases at a cost $\mathcal{O}(nNd^2)$, where $n$ is the time parameter and $N$ is the number of Monte Carlo samples, that are fixed and independent of $d$. Similar results are expected to hold, under a more general structure than the i.i.d.~one. independently of the dimension. Our theoretical results are also supported by numerical simulations on practical models of complex structures. The results suggest that it is indeed possible to tackle some high dimensional filtering problems using the space-time particle filter that standard particle filters cannot handle.

연구 동기 및 목표

• 차원 수 d에 따라 계산 비용이 기하급수적으로 증가하는 고차원 필터링 문제에서 표준 입자 필터의 불안정성 문제를 해결한다.
• 입자 수 N의 기하급수적 증가 없이도 차원 수 d가 증가함에 따라 일관성과 안정성을 유지하는 입자 필터링 알고리즘을 개발한다.
• d차원 상태공간에서 i.i.d. 또는 마르코프성 의존성 구조를 가진 모델에 대해 알고리즘 성능에 대한 이론적 근거를 제공한다.
• 표준 입자 필터가 N = O(κ^d), κ > 1로 필요로 하는 기하급수적 비용 증가와는 달리, 차원 수 d에 대해 비기하급수적 비용 증가를 달성함을 보여준다.
• 복잡한 모델에 대한 수치 시뮬레이션을 통해 이론적 결과를 뒷받침하며, 실용적인 고차원 필터링 과제에의 적용 가능성을 보여준다.

제안 방법

• 고차원 필터링 문제를 시간과 공간에 따라 분해하여, 낮은 차원의 조건부 필터링 단계의 시퀀스로 나누는 공간-시간 입자 필터를 제안한다.
• 시간 및 공간에 따라 변하는 제안 밀도를 기반으로 한 중요도 샘플링 전략을 사용하여 입자 다양성을 유지한다.
• 조건부 기대값과 준군 연산자를 사용한 재귀적 분해를 통해 고차원 상태 전이를 관리한다.
• 가중치가 부여된 입자를 사용하여 정규화 상수의 정규화된 입자 추정치를 도입하며, 잠재 함수와 입자 수에 대한 가정을 통해 분산을 제어한다.
• 이론적 결과 [7, 정리 16.4.1]을 활용하여 정규화 상수 추정치의 상대 분산을 유계로 제한함으로써, d가 증가함에 따라 안정성을 확보한다.
• 공간-시간 구조를 활용하여 차원 간 의존성을 분리함으로써, 각 시간 단계당 고정된 계산 비용을 유지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 차원 수 d가 크며, 비용이 d에 대해 기하급수적 증가가 아닌 비기하급수적 증가를 보이는 고차원 필터링 문제에서 안정성과 일관성을 유지하는 입자 필터를 설계할 수 있는가?
• RQ2 고정된 n과 N에 대해 공간-시간 입자 필터가 d에 독립적인 O(nNd²) 비용을 달성하면서도 일관성을 유지하는가?
• RQ3 d차원 상태공간에서 i.i.d. 또는 마르코프성 의존성 구조를 가진 모델에서 알고리즘이 어떻게 성능을 발휘하는가?
• RQ4 전이 밀도 및 관측 밀도에 대한 일반적인 가정 하에 정규화 상수 추정치의 분산에 대한 이론적 경계를 설정할 수 있는가?
• RQ5 표준 입자 필터가 가중치 붕괴로 실패하는 복잡한 고차원 모델에서 알고리즘은 어느 정도의 수준까지 잘 작동하는가?

주요 결과

• 공간-시간 입자 필터는 고차원 상태공간 모델에서 상태 분포에 대한 일관된 몬테카를로 추정치를 제공하며, d가 증가함에 따라 안정성을 유지한다.
• d차원 공간에서 i.i.d. 및 마르코프성 구조를 가진 경우, 알고리즘은 계산 비용이 O(nNd²)로 고정된 n과 N에 대해 안정성을 보이며, d에 독립적이다.
• 정규화 상수 추정치의 상대 분산은 O(d/M_d)로 유계이며, M_d ≥ c d를 만족하는 어떤 상수 c에 대해 d가 증가함에 따라 안정성이 유지된다.
• 이론적 분석을 통해 잠재 함수에 대한 약한 가정 하에 정규화 상수 추정치의 2차 모멘트에 대한 균일한 제어가 유지됨을 확인한다.
• 복잡한 모델에 대한 수치 시뮬레이션은 이론적 결과를 지지하며, 표준 입자 필터가 실패하는 고차원 필터링 과제에서 알고리즘의 실용성을 보여준다.
• 이 방법은 고차원에서 표준 입자 필터가 일반적으로 요구하는 기하급수적 비용 N = O(κ^d)를 피함으로써, 실용적인 고차원 추론 과제에 적합하다.