[논문 리뷰] The discriminative Kalman filter for nonlinear and non-Gaussian sequential Bayesian filtering

Michael C. Burkhart, David M. Brandman외 2명|arXiv (Cornell University)|2016. 08. 23.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 5

한 줄 요약

이 논문은 비선형성과 비정규성의 설정에서 효율적이고 정확한 추론을 가능하게 하는 폐쇄형 베이지안 필터링 방법인 판별 칼만 필터(DKF)를 제안한다. 기존의 $ p(\text{observation}|\text{state}) $ 가 아닌 $ p(\text{state}| ext{observation}) $ 를 모델링함으로써, 고차원 관측 공간에서의 성능을 향상시킨다. 판별 회귀(예: 가우시안 프로세스 또는 신경망)를 활용해 $ p(z_t|x_t) $ 를 학습함으로써, DKF는 신경 디코딩 분야에서 최신 기술 수준의 성능을 달성하며, 표준 칼만 필터와 입자 필터를 능가한다.

ABSTRACT

The Kalman filter (KF) is used in a variety of applications for computing the posterior distribution of latent states in a state space model. The model requires a linear relationship between states and observations. Extensions to the Kalman filter have been proposed that incorporate linear approximations to nonlinear models, such as the extended Kalman filter (EKF) and the unscented Kalman filter (UKF). However, we argue that in cases where the dimensionality of observed variables greatly exceeds the dimensionality of state variables, a model for $p( ext{state}| ext{observation})$ proves both easier to learn and more accurate for latent space estimation. We derive and validate what we call the discriminative Kalman filter (DKF): a closed-form discriminative version of Bayesian filtering that readily incorporates off-the-shelf discriminative learning techniques. Further, we demonstrate that given mild assumptions, highly non-linear models for $p( ext{state}| ext{observation})$ can be specified. We motivate and validate on synthetic datasets and in neural decoding from non-human primates, showing substantial increases in decoding performance versus the standard Kalman filter.

연구 동기 및 목표

• 고차원 관측 공간에서 $ p(\text{observation}|\text{state}) $ 를 학습하는 것이 어려우며 계산적으로도 비용이 많이 들기 때문에, 순차적 베이지안 필터링의 과제를 해결하기 위함이다.
• 관측값과 상태 간의 관계를 생성적 모델링에서 판별적 모델링으로 전환함으로써, 비선형성과 비정규성 시스템에서 필터링 정확도와 효율성을 향상시키기 위함이다.
• 가우시안 프로세스와 신경망과 같은 표준 판별 학습 기법들을 폐쇄형 필터링 프레임워크 내에서 활용할 수 있도록 하기 위함이다.
• 관측 차원이 상태 차원보다 크게 초과하는 경우에 특히 효과적인 신경 디코딩 작업에서 DKF의 우수성을 입증하기 위함이다.

제안 방법

• 표준 베이지안 필터링 식을 재작성하여 $ p(z_t|x_{1:t}) \propto \frac{p(z_t|x_t)}{p(z_t)} \int p(z_t|z_{t-1})p(z_{t-1}|x_{1:t-1}) \, dz_{t-1} $ 를 유도함으로써, $ p(z_t|x_t) $ 에 대한 판별적 모델링이 가능하도록 한다.
• $ p(z_t|x_t) $ 를 비선형 가우시안 분포 $ \mathcal{N}(f(x_t), Q(x_t)) $ 로 모델링하며, 여기서 $ f $ 와 $ Q $ 는 데이터로부터 판별적 회귀 기법을 통해 학습된다.
• 표준 상태 전이 및 사전 분포 $ p(z_t) $ 와 $ p(z_t|z_{t-1}) $ 를 유지함으로써, 칼만 필터의 동역학과의 호환성을 확보한다.
• 비선형 함수 $ f $ 와 $ Q $ 가 존재하더라도 유효한 폐쇄형 해를 유도함으로써, 수치적 근사 기법(예: 입자 필터링)이 필요 없이 효율적인 계산이 가능하다.
• 가우시안 프로세스와 피드포워드 신경망과 같은 표준 회귀 모델을 $ f $ 와 $ Q $ 에 적용함으로써, 민첩하고 데이터 기반의 사후 분포 추정이 가능하다.
• 합성 데이터와 비인간 영장류의 실제 신경 디코딩 데이터를 사용하여 DKF의 유효성을 검증하였으며, EKF, UKF, 입자 필터와의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 관측값에 대한 상태의 조건부 확률 $ p(\text{state}|\text{observation}) $ 를 모델링하는 것이, 고차원 관측 공간에서 기존의 $ p(\text{observation}|\text{state}) $ 를 모델링하는 것보다 더 정확하고 효율적인 베이지안 필터링을 가능하게 할 수 있는가?
• RQ2 비선형성과 비정규성의 순차적 추정 과제에서 DKF는 전통적인 칼만 필터와 입자 필터보다 더 뛰어난 성능을 보일 수 있는가?
• RQ3 가우시안 프로세스와 신경망과 같은 판별 학습 기법들이 폐쇄형 필터링 프레임워크에 효과적으로 통합될 수 있는가?
• RQ4 관측 차원이 상태 차원을 크게 초과하는 경우에 DKF는 전통적 필터링 방법보다 어떤 상황에서 뛰어난 성능을 발휘하는가?

주요 결과

• 고차원 신경 데이터를 포함한 신경 디코딩 작업에서, 표준 칼만 필터에 비해 DKF는 뚜렷한 성능 향상을 보였다.
• 특히 $ m \gg d $ 인 경우, DKF는 입자 필터링 및 EKF/UKF 변종보다 정확도와 계산 효율성 면에서 뛰어난 성능을 보였다.
• 매우 비선형적인 $ f $ 와 $ Q $ 가 존재하더라도 DKF는 정확한 폐쇄형 추론을 가능하게 하며, 입자 필터링과 같은 수치적 근사 기법이 필요로 하지 않는다.
• DKF-GP와 DKF-NN 변종은 103개의 신경 입력 차원을 가진 레이서스 운동 피질 데이터셋에서 잘 작동하여 고차원 관측에 대한 강건성을 입증하였다.
• 관측 차원이 높아서 $ p(\text{observation}|\text{state}) $ 를 학습하기 어려운 상황에서 DKF는 생성적 필터링의 실용적인 대안이 된다.
• 비록 장점이 많지만, DKF는 다중모달 사후 분포나 전체 결합 분포에서의 동시 샘플링을 지원하지 않으며, 이는 다중모달 또는 생성적 모델링 응용 분야에서의 활용을 제한한다.