[논문 리뷰] Optimized Auxiliary Particle Filters: adapting mixture proposals via convex optimization

Nicola Branchini, V́ıctor Elvira|arXiv (Cornell University)|2020. 11. 18.

Target Tracking and Data Fusion in Sensor Networks인용 수 6

한 줄 요약

이 논문은 중요도 가중치의 분산을 최소화하기 위해 혼합 제안 가중치를 볼록 최적화 문제로 공식화하는 최적화된 보조 입자 필터(OAPF)라는 새로운 프레임워크를 소개한다. 보조 변수를 혼합 가중치로 해석하고 볼록 프로그래밍을 통해 이를 최적화함으로써, 비선형 상태공간 모델에서 최신 기술보다 유의미하게 향상된 추정 정확도를 달성한다. 이는 편향이 없고 일致성 있는 추정기와 유사한 계산 비용을 가진다.

ABSTRACT

Auxiliary particle filters (APFs) are a class of sequential Monte Carlo (SMC) methods for Bayesian inference in state-space models. In their original derivation, APFs operate in an extended state space using an auxiliary variable to improve inference. In this work, we propose optimized auxiliary particle filters, a framework where the traditional APF auxiliary variables are interpreted as weights in an importance sampling mixture proposal. Under this interpretation, we devise a mechanism for proposing the mixture weights that is inspired by recent advances in multiple and adaptive importance sampling. In particular, we propose to select the mixture weights by formulating a convex optimization problem, with the aim of approximating the filtering posterior at each timestep. Further, we propose a weighting scheme that generalizes previous results on the APF (Pitt et al. 2012), proving unbiasedness and consistency of our estimators. Our framework demonstrates significantly improved estimates on a range of metrics compared to state-of-the-art particle filters at similar computational complexity in challenging and widely used dynamical models.

연구 동기 및 목표

• 기존 보조 입자 필터보다 제안 분포를 최적화함으로써 순차적 몬테카를로 추론을 위한 유연한 프레임워크를 개발하는 것.
• 제안 분포의 혼합 가중치를 원리적이고 볼록 최적화 기반의 선택을 통해 중요도 가중치의 분산을 줄이는 것.
• 비볼록 최적화에 의존하지 않고도 적응형이고 데이터 기반의 혼합 가중치를 허용함으로써 보조 입자 필터를 일반화하고 확장하는 것.
• 유사한 계산 복잡도에서 최신 기술인 보조 입자 필터(APF)와 브로드캐스트 PF보다 더 나은 필터링 성능을 달성하는 것.

제안 방법

• OAPF 프레임워크는 APF의 보조 변수를 중요도 샘플링 제안에서의 혼합 가중치로 재해석하여 혼합 성분의 최적화를 가능하게 한다.
• 제안 분포에서 혼합 가중치의 선택을 특정 핵심 점들에서 필터링 사후분포와 일치시키는 볼록 최적화 문제로 공식화한다.
• 혼합 제안에서 커널의 수를 민감도 없이 유연하게 설정할 수 있으며, 입자 수와 분리되어 있어 적응형이고 효율적인 근사가 가능하다.
• 이전 APF 추정기의 일반화를 보장하고 편향 없음과 일致성을 확보하는 새로운 가중치 부여 방식을 제안한다.
• 예측 가능도와 사후 분포의 구조를 활용하여 효과적인 표본 수 손실을 최소화하는 볼록 목표 함수를 정의한다.
• 최적화는 각 시간 단계에서 수행되어 제안 분포가 현재 필터링 분포에 실시간으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 볼록 최적화를 사용하여 입자 필터 제안에서 혼합 가중치를 적응적으로 선택함으로써 중요도 가중치의 분산을 줄일 수 있는가?
• RQ2 보조 입자 필터 프레임워크는 어떻게 일반화되어서 유연하고 데이터 기반의 혼합 제안을 가능하게 하며, 증명 가능한 통계적 성질을 가질 수 있는가?
• RQ3 볼록 프로그래밍을 통한 혼합 가중치 최적화가 어려운 비선형 상태공간 모델에서 기존 입자 필터보다 더 나은 필터링 성능을 낼 수 있는가?
• RQ4 제안된 방법은 계산 효율성을 유지하면서 편향이 없고 일치하는 추정기를 달성할 수 있는가?

주요 결과

• OAPF 프레임워크는 비선형 상태공간 모델, 예를 들어 스토하스틱 로렌츠 63 모델과 다변량 스토하스틱 볼라티리티 모델에서 최신 기술인 개선된 APF(IAPF)와 비교해 여러 지표에서 유의미하게 향상된 추정 정확도를 달성한다.
• 혼합 가중치 선택을 위한 제안된 볼록 최적화 방법은 중요도 가중치의 분산을 낮추어 직접적으로 유효 표본 수와 추정 정확도를 향상시킨다.
• OAPF의 마진 분포 가능도 추정기는 편향이 없고 일치함을 증명하였으며, Pitt 등(2012)의 결과를 일반화하고 APF의 이론적 기반을 확장한다.
• 제안에서 커널의 수를 입자 수와 독립적으로 민감하게 설정할 수 있어 계산 비용을 증가시키지 않고도 더 정확한 근사를 가능하게 한다.
• 실험 결과는 OAPF가 동일한 계산 복잡도에서도 브로드캐스트 PF와 IAPF보다 필터링 정확도와 안정성 면에서 뛰어나다는 것을 보여준다.