[논문 리뷰] The Extended Kalman Filter is a Natural Gradient Descent in Trajectory Space

Yann Ollivier|arXiv (Cornell University)|2019. 01. 03.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 33인용 수 11

한 줄 요약

이 논문은 확장 칼만 필터(EKF)가 시스템 궤적 공간에서 온라인 자연 경사 하강법과 수학적으로 동일하다는 것을 입증한다. 관측에 대한 통계 모델의 매개변수로 각 궤적을 간주할 때, 피셔 정보 행렬에 의해 전처리된 자연 경사 하강법은 표준적인 과정 노이즈 선택에서 EKF 식을 정확히 복원한다.

ABSTRACT

The extended Kalman filter is perhaps the most standard tool to estimate in real time the state of a dynamical system from noisy measurements of some function of the system, with extensive practical applications (such as position tracking via GPS). While the plain Kalman filter for linear systems is well-understood, the extended Kalman filter relies on linearizations which have been debated. We recover the exact extended Kalman filter equations from first principles in statistical learning: the extended Kalman filter is equal to Amari's online natural gradient, applied in the space of trajectories of the system. Namely, each possible trajectory of the dynamical system defines a probability law over possible observations. In principle this makes it possible to treat the underlying trajectory as the parameter of a statistical model of the observations. Then the parameter can be learned by gradient ascent on the log-likelihood of observations, as they become available. Using Amari's natural gradient from information geometry (a gradient descent preconditioned with the Fisher matrix, which provides parameterization-invariance) exactly recovers the extended Kalman filter. This applies only to a particular choice of process noise in the Kalman filter, namely, taking noise proportional to the posterior covariance - a canonical choice in the absence of specific model information.

연구 동기 및 목표

• 확장 칼만 필터와 통계학적 학습에서의 온라인 자연 경사 하강법 사이의 깊이 있는 이론적 연결을 수립하기 위해.
• EKF가 선형화에 의존하는 데 오랫동안 애매하게 여겨졌던 문제를 해결하기 위해, 정보 기하학 원리로부터 자연스럽게 발생한다는 것을 보여주기 위해.
• 과정 노이즈가 사후 공분산에 비례할 경우 EKF의 행동이 매개변수화에 관계없이 불변이라는 것을 보여주기 위해.
• 상태 추정의 필터링 및 온라인 학습을 통한 매개변수 추정이라는 두 주요 패러다임을 궤적을 모델 매개변수로 간주함으로써 통합하기 위해.
• 히ュ리스틱한 선형화가 아니라 자연 경사 이론을 사용해 EKF를 원칙에서 유도하는 체계적인 유도를 제공하기 위해.

제안 방법

• 다이나믹 시스템의 가능한 각 궤적을 관측에 대한 통계 모델의 매개변수로 간주한다.
• 관측값을 궤적에 조건부로 가우시안으로 모델링하며, 관측 노이즈 공분산은 $ R $ 으로 표기한다.
• 들어오는 관측값의 로그우도를 궤적 매개변수에 대해 최대화하기 위해 온라인 자연 경사 하강법을 적용한다.
• 아마리의 자연 경사 하강법을 사용하여 표준 기울기를 피셔 정보 행렬의 역행렬로 전처리함으로써 매개변수화 불변성을 확보한다.
• 궤적 공간에서의 피셔 정보 행렬을 유도하며, 이는 상태의 사후 공분산과 정확히 일치함을 보여준다.
• 결과적으로 유도된 업데이트 규칙이 특정 조건 $ Q_t \propto P_{t|t-1} $ 하에서 확장 칼만 필터 식과 정확히 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 확장 칼만 필터는 히ュ리스틱한 선형화가 아니라 통계학적 학습의 원칙에서 유도될 수 있는가?
• RQ2 정보 기하학과 매개변수 공간의 구조 관점에서 EKF의 기하학적 해석은 무엇인가?
• RQ3 EKF가 선형 근사에 의존하고 있음에도 불구하고 실무에서 뛰어난 성능을 보이는 이유는 무엇인가?
• RQ4 EKF가 궤적 공간에서 자연 경사 하강법과 동일한 조건은 무엇인가?
• RQ5 과정 노이즈 $ Q $ 의 선택이 EKF와 자연 경사 방법 간의 동등성에 미치는 영향은 무엇인가?

주요 결과

• 과정 노이즈가 사후 공분산 행렬에 비례할 경우, 확장 칼만 필터는 궤적 공간에서 온라인 자연 경사 하강법과 정확히 동일하다.
• 이 동등성은 이산 시간과 연속 시간 모두에 적용되며, 확장 칼만–부시 필터로까지 일반화된다.
• 자연 경사 수식은 EKF를 원칙에 기반한 매개변수화 불변적인 유도로 제공하여, 선형화 기반 구성에서의 애매함을 해결한다.
• 표준 선택인 $ Q \propto P_{t|t-1} $ 는 기저 불변성을 보장하며, 자연 경사의 재매개변수화 불변성과 일치한다.
• 궤적 공간에서의 피셔 정보 행렬은 사후 공분산의 역행렬과 일치하며, 이는 자연 경사 업데이트에서 전처리의 정당성을 뒷받침한다.
• 이전의 결과를 일반화한다. 즉, 시스템 상태가 정적일 경우($ f = \text{Id} $) 칼만 필터가 자연 경사 하강법과 동일하다는 것을 보여준 바가 있었으나, 이제 이를 일반적인 비선형 동역학으로 확장한다.