[논문 리뷰] A simple scheme for the parallelization of particle filters and its application to the tracking of complex stochastic systems

Dan Crisan, Joaquı́n Mı́guez외 1명|arXiv (Cornell University)|2014. 07. 30.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 19인용 수 6

한 줄 요약

이 논문은 입자 필터에 대한 단순하고 완전히 독립적인 병렬화 방식을 제안한다. 전체 계산 예산을 M개의 병렬 필터로 나누고 각 필터에 N개의 입자로 분할하여 출력을 평균화한다. 이 방법은 최적의 수렴 속도를 달성한다—분산의 경우 1/(MN)로 감소하고 편향의 경우 1/N²로 감소하여 정확도를 훼손하지 않고도 상당한 속도 향상을 이룬다. 이는 혼돈적이고 고차원적인 확률적 시스템에서 검증되었다.

ABSTRACT

We investigate the use of possibly the simplest scheme for the parallelisation of the standard particle filter, that consists in splitting the computational budget into $M$ fully independent particle filters with $N$ particles each, and then obtaining the desired estimators by averaging over the $M$ independent outcomes of the filters. This approach minimises the parallelisation overhead yet displays highly desirable theoretical properties. Under very mild assumptions, we analyse the mean square error (MSE) of the estimators of 1-dimensional statistics of the optimal filtering distribution and show explicitly the effect of parallelisation scheme on the convergence rate. Specifically, we study the decomposition of the MSE into variance and bias components, to show that the former decays as $\frac{1}{MN}$, i.e., linearly with the total number of particles, while the latter converges towards $0$ as $\frac{1}{N^2}$. Parallelisation, therefore, has the obvious advantage of dividing the running times while preserving the (asymptotic) performance of the particle filter. Following this lead, we propose a time-error index to compare schemes with different degrees of parallelisation. Finally, we provide two numerical examples. The first one deals with the tracking of a Lorenz 63 chaotic system with dynamical noise and partial (noisy) observations, while the second example involves a dynamical network of modified FitzHugh-Nagumo (FH-N) stochastic nodes. The latter is a large dimensional system ($\approx3,000$ state variables in our computer experiments) designed to numerically reproduce typical electrical phenomena observed in the atria of the human heart. In both examples, we show how the proposed parallelisation scheme attains the same approximation accuracy as a centralised particle filter with only a small fraction of the running time, using a standard multicore computer.

연구 동기 및 목표

• 이론적 수렴 보장을 유지하면서 입자 필터를 효율적으로 병렬화하는 데 도전한다.
• 상호작용이 필요한 복잡한 재표본화나 필터 간 통신이 필요한 기존 병렬화 기법의 높은 계산 오버헤드를 해결한다.
• 중앙집중식 입자 필터의 통계적 정확도를 유지하면서 최소한의 오버헤드로 병렬화하는 방법을 개발한다.
• 약한 조건 하에서 제안된 기법의 엄밀한 수렴 분석을 제공한다.
• 로렌츠-63 및 피츠휴-나구모 네트워크와 같은 고차원 및 혼돈적 동역학 시스템에서 이 방법의 효과성을 입증한다.

제안 방법

• 전체 계산 예산을 M개의 독립된 입자 필터로 나누며, 각 필터에 N개의 입자를 할당하여 필터 간 상호작용이나 통신을 완전히 제거한다.
• 몬테카를로 샘플링, 가중치 재표본화, 각 필터의 독립적 실행을 통해 필터링 분포의 1차원 통계량에 대한 추정기를 계산한다.
• M개의 독립된 필터의 출력을 평균하여 최종 추정기를 구성한다.
• 평균 제곱오차(MSE)의 분석을 수행하며, 이를 편향과 분산 성분으로 분해한다.
• 시스템 및 관측 모델에 대한 약한 정규성 조건 하에서 분산이 1/(MN)로 감소하고 편향이 1/N²로 감소하는 이론적 경계를 확립한다.
• 속도 향상과 정확도 간의 상충 관계를 평가하기 위해 시간-오차 지수를 도입한다.

실험 결과

연구 질문

• RQ1 완전히 독립적이고 상호작용이 없는 입자 필터 병렬화 기법이 최적의 수렴 속도를 달성하면서도 최소한의 계산 오버헤드를 가지는가?
• RQ2 제안된 기법에서 추정기의 평균 제곱오차(MSE)는 필터 수 M과 입자 수 N에 따라 어떻게 변화하는가?
• RQ3 독립적 병렬화 프레임워크에서 전체 MSE에 기여하는 편향과 분산의 상대적 기여도는 어떠한가?
• RQ4 이 기법은 복잡한 고차원 확률적 시스템에서 런타임을 크게 줄이면서도 정확도를 유지할 수 있는가?
• RQ5 기존의 병렬 입자 필터링 기법과 비교해 볼 때 이 기법은 이론적 보장과 실용적 효율성 측면에서 어떤가?

주요 결과

• 추정기의 분산은 총 입자 수에 비례하여 선형으로 감소하며, 감소율은 1/(MN)로 확인되어 병렬화가 추정 불확실성을 효과적으로 줄임을 입증한다.
• 추정기의 편향은 1/N²의 속도로 0으로 수렴함을 보여, 각 필터의 입자 수를 늘일수록 병렬 필터의 수와 무관하게 정확도가 향상됨을 시사한다.
• 제안된 기법은 중앙집중식 입자 필터와 동일한 渐近 정확도를 달성하지만, 완전한 병렬화 덕분에 런타임이 상당히 감소한다.
• 로렌츠-63 시스템에 대한 수치 실험 결과, 병렬 기법은 중앙집중식 필터와 동일한 정확도를 달성하면서도 계산 시간의 일부분만으로도 수행됨을 보였다.
• 3,000차원의 피츠휴-나구모 네트워크 모델에서 이 방법은 표준 다중코어 시스템에서 중앙집중식 필터와 비슷한 정확도를 달성하면서도 뚜렷한 속도 향상을 보였다.
• 시간-오차 지수 분석 결과, 독립적 병렬화 기법은 런타임 단축과 추정 오차 간의 유리한 트레이드오프를 제공하며, 복잡한 필터 간 상호작용을 수반하는 기법들을 능가함을 입증했다.