[논문 리뷰] A Variational Formulation of Optimal Nonlinear Estimation

Gregory L. Eyink|ArXiv.org|2000. 11. 21.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 10

한 줄 요약

이 논문은 확률적 동적 시스템에서 최적 비선형 추정을 위한 변분 형식을 제안하며, 예측, 필터링, 스무딩을 위한 가장 가능성이 높은 상태 궤적을 결정하기 위해 효과적 작용 함수를 사용한다. 이 방법은 전방으로 편미분된 Fokker-Planck 방정식과 후방으로 연관된 고유 방정식을 푸는 전역 수렴성 있는 반복적 수치적 기법을 통해 선형 '스위프 방법'을 비선형 시스템으로 일반화하며, 최적 추정기의 구조적 성질을 유지하면서 유한 차원의 모멘트-클로처 근사법을 가능하게 한다.

ABSTRACT

We propose a variational method to solve all three estimation problems for nonlinear stochastic dynamical systems: prediction, filtering, and smoothing. Our new approach is based upon a proper choice of cost function, termed the {\it effective action}. We show that this functional of time-histories is the unique statistically well-founded cost function to determine most probable histories within empirical ensembles. The ensemble dispersion about the sample mean history can also be obtained from the Hessian of the cost function. We show that the effective action can be calculated by a variational prescription, which generalizes the ``sweep method'' used in optimal linear estimation. An iterative numerical scheme results which converges globally to the variational estimator. This scheme involves integrating forward in time a ``perturbed'' Fokker-Planck equation, very closely related to the Kushner-Stratonovich equation for optimal filtering, and an adjoint equation backward in time, similarly related to the Pardoux-Kushner equation for optimal smoothing. The variational estimator enjoys a somewhat weaker property, which we call ``mean optimality''. However, the variational scheme has the principal advantage---crucial for practical applications---that it admits a wide variety of finite-dimensional moment-closure approximations. The moment approximations are derived reductively from the Euler-Lagrange variational formulation and preserve the good structural properties of the optimal estimator.

연구 동기 및 목표

• 예측, 필터링, 스무딩이라는 세 가지 고전적인 비선형 추정 문제를 통합하는 변분 프레임워크를 개발하는 것.
• empirical ensemble에서 가장 가능성이 높은 시간적 궤적을 결정하는 통계적으로 타당한 비용 함수—즉, 효과적 작용—을 규명하는 것.
• 최적 추정기의 구조적 특성을 유지하면서 실용적인 계산을 가능하게 하는 유한 차원의 모멘트-클로처 근사법을 제공하는 것.
• 추정 문제의 변분 제시를 통해 선형 '스위프 방법'을 비선형 시스템으로 일반화하는 것.

제안 방법

• 효과적 작용은 시간 궤적의 함수로 정의되며, 변분 원리로부터 유도되며, 가장 가능성이 높은 상태 궤적을 식별하는 데 사용된다.
• 이 방법은 전방으로 편미분된 Fokker-Planck 방정식을 통합하고 후방으로 연관된 고유 방정식을 푸는 반복적 수치적 기법을 사용하며, Kushner-Stratonovich 및 Pardoux-Kushner 방정식과 유사하다.
• 효과적 작용의 헤시안은 가장 가능성이 높은 궤적 주변의 앙상블 분산을 제공하며, 불확실성 정량화를 가능하게 한다.
• 모멘트-클로처 근사법은 변분 형식의 오일러-라그랑주 방정식으로부터 재귀적으로 유도되며, 최적 추정기의 구조적 일致성을 보장한다.
• 이 기법은 '평균 최적성'을 달성하며, 이는 더 약한 그러나 실용적인 성질로, 특정 조건 하에서 조건부 평균으로 수렴함을 보장한다.
• 이 접근법은 추정 문제의 변분 제시를 통해 선형 스위프 방법을 비선형 시스템으로 확장한다.

실험 결과

연구 질문

• RQ1 비선형 확률적 시스템에서 최적 예측, 필터링, 스무딩을 통합하는 변분 형식을 구성할 수 있는가?
• RQ2 empirical ensemble에서 가장 가능성이 높은 상태 궤적을 식별하는 유일한 통계적으로 타당한 비용 함수는 무엇인가?
• RQ3 비선형 시스템에서 효과적 작용을 효율적이고 전역 수렴적으로 계산할 수 있는가?
• RQ4 변분 형식에서 유한 차원의 모멘트-클로처 근사법을 유도할 수 있으며, 최적 추정기의 구조적 성질을 유지할 수 있는가?
• RQ5 변분 추정기와 조건부 평균 사이의 관계는 무엇이며, 기존 최적 필터와 비교해보면 어떠한가?

주요 결과

• 효과적 작용은 비선형 확률적 과정의 empirical ensemble에서 가장 가능성이 높은 궤적을 결정하는 유일한 통계적으로 타당한 비용 함수이다.
• 효과적 작용의 헤시안은 가장 가능성이 높은 궤적 주변의 앙상블 분산을 제공하며, 불확실성 정량화를 가능하게 한다.
• 변분 형식에 기반한 반복적 수치 기법은 전방으로 편미분된 Fokker-Planck 방정식을 통합하고 후방으로 고유 방정식을 풀며, 전역적으로 변분 추정기로 수렴한다.
• 이 방법은 오일러-라그랑주 방정식으로부터 재귀적으로 도출된 광범위한 유한 차원의 모멘트-클로처 근사법을 수용하며, 최적 추정기의 구조적 성질을 유지한다.
• 변분 추정기는 '평균 최적성'을 만족하며, 이는 더 약한 그러나 실용적인 성질로, 적절한 조건 하에서 조건부 평균과 일致함을 보장한다.
• 이 접근법은 선형 '스위프 방법'을 비선형 시스템으로 일반화하며, 최적 비선형 추정을 위한 체계적인 프레임워크를 제공한다.