[논문 리뷰] Differentiable Particle Filtering via Entropy-Regularized Optimal Transport

Adrien Corenflos, Jim Thornton외 2명|arXiv (Cornell University)|2021. 02. 15.

Gaussian Processes and Bayesian Inference인용 수 13

한 줄 요약

이 논문은 전통적인 입자 필터링에서의 리샘플링 비가역성 문제를 해결하기 위해 엔트로피 정규화된 최적 운반 이론 기반의 미분 가능 입자 필터를 제안한다. 표준 리샘플링을 미분 가능한 운반 기반 절차로 대체함으로써, 경량 최적화를 통한 상태공간 모델의 엔드 투 엔드 훈련이 가능해지며, 변분 추론 및 최대우도추정 설정 모두에서 분산이 낮고 수렴성이 향상된다.

ABSTRACT

Particle Filtering (PF) methods are an established class of procedures for performing inference in non-linear state-space models. Resampling is a key ingredient of PF, necessary to obtain low variance likelihood and states estimates. However, traditional resampling methods result in PF-based loss functions being non-differentiable with respect to model and PF parameters. In a variational inference context, resampling also yields high variance gradient estimates of the PF-based evidence lower bound. By leveraging optimal transport ideas, we introduce a principled differentiable particle filter and provide convergence results. We demonstrate this novel method on a variety of applications.

연구 동기 및 목표

• 입자 필터링에서 리샘플링의 비가역성 문제를 해결하여 상태공간 모델의 엔드 투 엔드 훈련을 방해하는 요소를 제거한다.
• 전통적인 리샘플링의 원칙적인 대체 방법으로서 통계적 일致성을 유지하는 미분 가능한 방법을 개발한다.
• 비선형, 비정규 상태공간 모델에 대해 변분 추론 및 최대우도추정에서 효과적인 기울기 기반 최적화를 가능하게 한다.
• 표준 입자 필터링 및 스토하스틱 최대우도추정과 비교해, ELBO 최대화 및 우도 추정에서 성능 향상을 입증한다.

제안 방법

• 가중치가 부여된 입자를 균일한 가중치를 가진 새로운 입자 집합으로 매핑하기 위해 엔트로피 정규화된 최적 운반 이론을 활용한 미분 가능한 리샘플링 메커니즘을 제안한다.
• 다항분포 리샘플링을 대체하여 경험 측도 간의 정규화된 워샤르 거리 최소화를 목표로 하는 운반 맵을 도입한다.
• 최적 운반 계획을 효율적으로 계산하기 위해 싱크호른 알고리즘을 사용하여 백프로파게이션을 통한 미분 가능한 리샘플링을 가능하게 한다.
• 표준 입자 필터링 프레임워크에 미분 가능한 리샘플링을 통합함으로써, 전체 필터링 과정에서 일致성과 기울기 계산이 유지되도록 한다.
• 변분 추론과 최대우도추정에 각각 ELBO 및 SMLE 목적함수를 적용한다.
• 입자 샘플링의 재구성 기법을 사용하여 필터링 절차의 완전한 미분 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 활용해 통계적 일치성을 유지하면서도 입자 필터링의 리샘플링 단계를 미분 가능하게 만들 수 있는가?
• RQ2 제안된 미분 가능한 입자 필터는 표준 입자 필터링보다 변분 추론에서 더 낮은 분산 기울기 추정치를 제공하는가?
• RQ3 비선형 상태공간 모델에 대해 최대우도추정에서 수렴성과 추정 정확도를 향상시킬 수 있는가?
• RQ4 RMSE 및 ELBO 최대화 측면에서, 미분 가능한 입자 필터는 표준 입자 필터링 및 스토하스틱 최대우도추정과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 표준 입자 필터링 및 스토하스틱 MLE보다 유의미하게 낮은 RMSE를 기록한 미분 가능한 입자 필터(DPF)는 B가 1에서 4로 증가함에 따라 RMSE가 1.94에서 1.30으로 감소한다.
• DPF 기반 ELBO 최대화는 표준 PF 및 SMLE를 모두 능가하며, B=10일 때 RMSE가 1.37로 안정화되어 수렴성 향상을 시사한다.
• 이 방법은 변분 RNN 및 로봇 위치 추정 시스템과 같은 복잡한 모델의 엔드 투 엔드 훈련을 가능하게 하며, 미분 가능한 리샘플링을 통해 안정적인 최적화를 달성한다.
• 엔트로피 정규화된 최적 운반 이론의 사용은 기울기 추정의 낮은 분산을 유지하면서도 미분 가능성을 보장하여 신뢰할 수 있는 최적화를 가능하게 한다.
• 실험 결과로, 표본 수 B가 증가할수록 DPF 기반 ELBO 추정치가 진짜 ELBO에 수렴하는 것으로 나타나 일치성이 검증된다.
• VRNN 및 로봇 위치 추정 작업 모두에서 DPF는 더 높은 테스트 세트 성능을 기록하여 다양한 순차 모델링 응용 분야에서의 강건성을 입증한다.