[논문 리뷰] FLUX: Progressive State Estimation Based on Zakai-type Distributed Ordinary Differential Equations

Uwe D. Hanebeck|arXiv (Cornell University)|2018. 08. 08.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

FLUX는 비선형 상태 추정에서 확률 밀도 함수를 점진적으로 추정하기 위해 Zakai 유형의 분포형 상미분 방정식(DODE)을 사용하는 호모토피 연속 방법을 제안한다. 인공 시간 γ ∈ [0,1] 동안 사전 밀도에서 사후 밀도로 매개변수를 진화시킴으로써, 부분 미분 방정식을 풀지 않고도 반복 최적화 없이도 빠르고 비반복적인 근사가 가능하며, 입자 흐름을 포함한 매개변수적 및 비매개변수적 표현에 적용 가능하다.

ABSTRACT

We propose a homotopy continuation method called FLUX for approximating complicated probability density functions. It is based on progressive processing for smoothly morphing a given density into the desired one. Distributed ordinary differential equations (DODEs) with an artificial time $\\gamma \\in [0,1]$ are derived for describing the evolution from the initial density to the desired final density. For a finite-dimensional parametrization, the DODEs are converted to a system of ordinary differential equations (SODEs), which are solved for $\\gamma \\in [0,1]$ and return the desired result for $\\gamma=1$. This includes parametric representations such as Gaussians or Gaussian mixtures and nonparametric setups such as sample sets. In the latter case, we obtain a particle flow between the two densities along the artificial time. FLUX is applied to state estimation in stochastic nonlinear dynamic systems by gradual inclusion of measurement information. The proposed approximation method (1) is fast, (2) can be applied to arbitrary nonlinear systems and is not limited to additive noise, (3) allows for target densities that are only known at certain points, (4) does not require optimization, (5) does not require the solution of partial differential equations, and (6) works with standard procedures for solving SODEs. This manuscript is limited to the one-dimensional case and a fixed number of parameters during the progression. Future extensions will include consideration of higher dimensions and on the fly adaption of the number of parameters.

연구 동기 및 목표

• 기존 방법이 입자 분해 또는 높은 계산 비용으로 어려움을 겪는 비선형 확률적 시스템에서 복잡한 사후 확률 밀도 함수를 근사화하는 데 도전하는 것.
• 반복 최적화나 부분 미분 방정식을 풀지 않고도 사전 밀도에서 원하는 사후 밀도로의 매끄럽고 점진적인 변환을 가능하게 하는 방법을 개발하는 것.
• 표준화되고 효율적인 계산이 가능한 매개변수적(Gaussian 혼합 등) 및 비매개변수적(입자 집합 등) 표현을 모두 지원하는 프레임워크를 제공하는 것.
• MCMC나 중요도 표본 추출과 같은 복잡한 수치 절차를 피하고 표준 ODE 해법기를 활용함으로써 실시간 상태 추정을 실현하는 것.
• 향후 고차원 시스템 및 적응형 매개변수화(예: 입자 수나 성분 수의 동적 조정)로의 확장 기반을 마련하는 것.

제안 방법

• 인공 시간 γ ∈ [0,1]을 사용한 호모토피 연속 접근법을 통해 DODE로 정의된 흐름을 통해 초기 밀도를 목표 사후 밀도로 매끄럽게 변형하는 것.
• 밀도 근사의 진화를 지배하는 분포형 상미분 방정식(DODE)의 시스템을 유도하며, γ = 1에서의 해가 원하는 사후 밀도가 되도록 하는 것.
• 유한 차원 매개변수화(예: 입자 위치, 가우시안 혼합 매개변수)의 경우 DODE가 표준 ODE 해법기가 사용 가능한 일반 상미분 방정식 시스템(SODE)으로 간소화되는 것.
• 입자 위치가 밀도 흐름의 로그 도함수로부터 유도된 속도장에 따라 γ에 따라 진화하는 입자 흐름 메커니즘을 도입하여 가중치에 의존하지 않는 입자 전파를 가능하게 하는 것.
• 상태 영역을 이산화하기 위해 콜로케이션 점을 사용하고 DODE를 수치적으로 해석함으로써 연속적 흐름을 매개변수 벡터 η(γ)에 대한 결합된 ODE 집합으로 변환하는 것.
• evolving 밀도의 시간 도함수를 ˙fₑ(x,γ) = pᵀ(x,γ) · ˙η(γ) 형태로 표현하며, p(x,γ)는 밀도가 매개변수 변화에 민감도를 나타내는 것을 encoding하는 것.

실험 결과

연구 질문

• RQ1 반복 최적화나 부분 미분 방정식을 풀지 않고도 비선형 상태 추정에서 복잡한 사후 밀도 함수를 효율적으로 근사화할 수 있는가?
• RQ2 수치적 안정성과 계산 효율성을 보장하는 호모토피 방법을 통해 사전 밀도와 사후 밀도 사이에 연속적이고 점진적인 흐름을 구성할 수 있는가?
• RQ3 입자 집합과 같은 비매개변수적 표현에 대해 입자 분해나 재표본 추출 없이 얼마나 잘 작동하는가?
• RQ4 비선형이고 비가우시안 시스템에서 표준 입자 필터나 피드백 입자 필터와 비교해 정확도와 속도 측면에서 성능이 어떻게 되는가?
• RQ5 현재 일차원, 고정 매개변수 형식의 한계는 무엇이며, 고차원 및 적응형 매개변수화로 어떻게 극복할 수 있는가?

주요 결과

• 매개변수 벡터를 인공 시간 γ ∈ [0,1] 동안 진화시킴으로써 정확한 사후 밀도 근사를 달성하며, γ = 1에서의 최종 상태가 원하는 사후 밀도에 해당한다.
• 최적화와 부분 미분 방정식 해법을 피하고 표준 ODE 해법기를 사용함으로써 계산 복잡도와 실행 시간 변동성이 크게 감소한다.
• 입자 표현의 경우, 가중치에 의존하지 않고 높은 사후 확률 영역으로 입자가 이동하는 입자 흐름을 생성함으로써 입자 분해 문제를 완화한다.
• 가우시안, 가우시안 혼합, 표본 집합을 포함한 매개변수적 및 비매개변수적 밀도 표현 모두에 적용 가능하며, 일관된 수식 기반을 제공한다.
• 유도 과정은 수학적으로 다루기 쉽고 직관적이며, 흐름을 매개변수화된 경로 沿해 밀도 질량이 이동하는 것으로 물리적 해석이 명확하다.
• 고차원 및 동적 매개변수 적응으로의 확장이 가능하며, 향후 실시간 임베디드 환경용 C++ 코드 자동 생성을 목표로 한다.