[논문 리뷰] Kernel embedding of maps for sequential Bayesian inference: The variational mapping particle filter

Manuel Pulido, Peter Jan vanLeeuwen|arXiv (Cornell University)|2018. 05. 29.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 14인용 수 8

한 줄 요약

이 논문은 Kullback-Leibler 발산을 최소화하기 위해 커널 임bedded 매핑을 사용하는 변분 매핑 입자 필터(MPF)를 제안한다. 이는 중간 밀도와 사후 분포 사이의 발산을 최소화하는 순차적 몬테카를로 방법으로, 재표본화 없이도 고차원 상태 추정을 효율적으로 수행할 수 있다. 이 방법은 로렌츠-63 및 로렌츠-96과 같은 혼돈 시스템에서 부분적이고 흐린 관측과 장시간의 통합 창에서도 효과적인 입자 수가 거의 일정한 안정적인 성능을 보이며, 재표본화 없이도 고차원 상태 추정이 가능하다.

ABSTRACT

In this work, a novel sequential Monte Carlo filter is introduced which aims at efficient sampling of high-dimensional state spaces with a limited number of particles. Particles are pushed forward from the prior to the posterior density using a sequence of mappings that minimizes the Kullback-Leibler divergence between the posterior and the sequence of intermediate densities. The sequence of mappings represents a gradient flow. A key ingredient of the mappings is that they are embedded in a reproducing kernel Hilbert space, which allows for a practical and efficient algorithm. The embedding provides a direct means to calculate the gradient of the Kullback-Leibler divergence leading to quick convergence using well-known gradient-based stochastic optimization algorithms. Evaluation of the method is conducted in the chaotic Lorenz-63 system, the Lorenz-96 system, which is a coarse prototype of atmospheric dynamics, and an epidemic model that describes cholera dynamics. No resampling is required in the mapping particle filter even for long recursive sequences. The number of effective particles remains close to the total number of particles in all the experiments.

연구 동기 및 목표

• 고차원, 비선형, 혼돈적인 상태공간 모델을 위한 입자 필터에서 필터의 붕괴와 입자 빈곤 문제를 해결한다.
• 재표본화가 필요하고 순환 추론에서 가중치 붕괴 문제가 발생하는 전통적 입자 필터의 한계를 극복한다.
• 제한된 수의 입자를 사용하여도 높은 효과적 입자 수와 정확한 상태 추정을 유지할 수 있는 방법을 개발한다.
• 부분적이고 노이즈가 있는 관측과 복잡한 역학적 제약 조건이 있는 시스템에서도 강건한 추론을 가능하게 한다.
• 재표본화를 피하면서도 고차원 상태 공간에서 정확성을 유지하는 확장 가능한 기울기 기반 샘플링 프레임워크를 제공한다.

제안 방법

• 사전 분포에서 사후 분포로 입자를 매핑하는 일련의 결정적 매핑을 사용하는 순차적 몬테카를로 필터를 제안한다.
• 중간 밀도와 진짜 사후 분포 사이의 Kullback-Leibler 발산을 최소화하기 위해 기울기 유도를 통해 매핑을 유도한다.
• 재생 핵 힐버트 공간(RKHS)을 사용하여 매핑을 임베딩함으로써 KL 발산 기울기의 해석적 계산을 가능하게 한다.
• Stein 변분 기울기 강하 원리를 활용하여 기울기 정보에 기반해 입자 위치를 반복적으로 업데이트한다.
• 사후 분포를 사전 분포를 통해 학습된 매핑을 통해 순차적으로 전이한 결과로 근사하는 변분 추론 프레임워크를 적용한다.
• 커널 기반 함수 근사법을 사용하여 매핑 함수를 표현하고 밀도 추정 없이도 효율적인 기울기 계산을 수행한다.

실험 결과

연구 질문

• RQ1 고차원, 비선형, 혼돈적인 시스템에서 재표본화 없이도 입자 필터가 높은 효과적 표본 크기를 유지할 수 있는가?
• RQ2 부분적이고 노이즈가 있는 관측이 있는 상태공간 모델에서 커널 임베딩된 변분 매핑이 사후 분포를 얼마나 잘 근사하는가?
• RQ3 희박한 관측과 장시간의 통합 창에서 변분 매핑 입자 필터의 성능은 어떠한가?
• RQ4 RMSE와 입자 분산 측면에서 표준 입자 필터(SIR) 및 엔semble 칼만 필터와 비교해 볼 때 이 방법의 성능은 어떠한가?
• RQ5 커널 밴드위드스의 선택이 다양한 역학적 제도에서 필터의 정확성과 강건성에 얼마나 영향을 미치는가?

주요 결과

• MPF는 모든 실험에서 재표본화 없이도 효과적 입자 수가 거의 일정하며(총 입자 수에 가까운 수준), 장기간의 순환 추정 후에도 붕괴가 발생하지 않음을 보였다.
• 변수 x만 관측된 로렌츠-63 시스템에서 5개의 입자로도 MPF는 진짜 상태를 정확히 추적하는 반면, SIR 필터는 몇 차례 사이클 후 완전히 발산한다.
• Δt = 0.1(100개의 모델 단계)의 장시간 통합 창에서 MPF는 낮은 RMSE로 안정적인 성능을 유지하는 반면, SIR 필터는 완전히 실패한다.
• 20개의 관측이 있는 40변수 로렌츠-96 시스템에서 MPF는 RMSE 측면에서 스토케스틱 EnKF를 능가하며 더 나은 입자 분산을 유지한다.
• 로렌츠-96 시스템에서 커널 밴드위드스가 α=2에서 α=100까지 변화하더라도 RMSE에 거의 영향을 주지 않아, MPF가 커널 밴드위드스 선택에 대해 강건함을 보였다.
• 로렌츠-63 시스템에서 z만 관측되었을 경우, MPF는 일시적인 실패 후 신속하게 전체 상태를 복구하지만, SIR 필터는 추적을 상실하고 복구하지 못한다.