[논문 리뷰] Sigma-Point Filtering and Smoothing Based Parameter Estimation in Nonlinear Dynamic Systems

Juho Kokkala, Arno Solin외 1명|arXiv (Cornell University)|2015. 04. 23.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 23인용 수 43

한 줄 요약

이 논문은 비선형 상태공간 모델에서 최대우도(parameter estimation)를 위한 고차수 시그마점 필터링 및 스무딩 방법을 제안한다. 필터링 및 스무딩 분포를 근사하기 위해 제3, 제5, 제7, 제9차 유한변환과 가우스-에르미트 적분을 비교 분석하며, 비선형 역학에서 기존 확장 칼만 필터링 또는 입자 필터링보다 더 정확한 파rameter 추정을 가능하게 하는 고차수 방법의 우수성을 입증한다.

ABSTRACT

We consider approximate maximum likelihood parameter estimation in nonlinear state-space models. We discuss both direct optimization of the likelihood and expectation--maximization (EM). For EM, we also give closed-form expressions for the maximization step in a class of models that are linear in parameters and have additive noise. To obtain approximations to the filtering and smoothing distributions needed in the likelihood-maximization methods, we focus on using Gaussian filtering and smoothing algorithms that employ sigma-points to approximate the required integrals. We discuss different sigma-point schemes based on the third, fifth, seventh, and ninth order unscented transforms and the Gauss--Hermite quadrature rule. We compare the performance of the methods in two simulated experiments: a univariate nonlinear growth model as well as tracking of a maneuvering target. In the experiments, we also compare against approximate likelihood estimates obtained by particle filtering and extended Kalman filtering based methods. The experiments suggest that the higher-order unscented transforms may in some cases provide more accurate estimates

연구 동기 및 목표

• 가우시안 노이즈가 첨가된 비선형 동적 시스템에서 최대우도 파rameter 추정 문제를 해결한다.
• 기존의 EM 기반 추정 기법을 확장하여 시그마점 방법을 활용한 직접 우도 최적화를 포함한다.
• 3차에서 9차까지의 고차수 유한변환과 가우스-에르미트 적분의 성능을 평가하여 필터링 및 스무딩 분포 근사에 활용한다.
• 가우시안 노이즈가 첨가된 선형 파rameter 모델에서 EM의 닫힘형 M단계 업데이트를 제공한다.
• 추정 정확도 및 우도 근사 성능 측면에서 제안된 방법을 확장 칼만 필터링 및 입자 필터링과 비교한다.

제안 방법

• 비선형 상태공간 모델에서 사후 분포를 근사하기 위해 제3, 제5, 제7, 제9차 유한변환 기반의 시그마점 필터 및 스무딩 방법을 사용한다.
• 필터링 및 스무딩에서 적분을 근사하기 위한 고차수 통합 방법으로 가우스-에르미트 적분을 적용한다.
• 시그마점 기반 필터링 및 스무딩을 이용해 근사된 주변 우도를 사용하여 직접 최대우도 추정을 구현한다.
• EM 기반 추정을 위해 선형 파rameter 모델에 대해 가우시안 노이즈가 첨가된 경우의 닫힘형 최대화 단계 업데이트를 유도한다.
• 최적화를 위해 예측 오차 분해를 사용하여 근사된 로그우도를 계산한다.
• 우도 최적화에서 기울기를 계산하기 위해 민감도 방정식과 파이셔의 항등식을 활용한다.

실험 결과

연구 질문

• RQ1 3차에서 9차까지의 고차수 유한변환은 파rameter 추정을 위한 필터링 및 스무딩 분포 근사에서 저차수 방법보다 어떻게 다를까?
• RQ2 비선형 시스템에서 가우스-에르미트 적분은 유한변환보다 더 정확한 우도 근사 성능을 제공할 수 있는가?
• RQ3 시그마점 방법을 활용한 직접 최대우도 추정은 입자 필터링 및 확장 칼만 필터링에 비해 파rameter 추정 정확도에서 어떻게 다를까?
• RQ4 고차수 시그마점 방법은 어떤 조건에서 저차수 또는 입자 기반 대안보다 우수한 성능을 보일까?
• RQ5 가우시안 노이즈가 첨가된 선형 파rameter 모델에서 EM에 대해 닫힘형 M단계 업데이트를 도출할 수 있는가?

주요 결과

• 비선형 성장 모델에서 제7차 및 제9차 유한변환은 저차수 방법과 확장 칼만 필터링보다 더 정확한 파rameter 추정을 제공하였다.
• 기동하는 표적 추적 실험에서 제7차 및 제9차 유한변환은 입자 필터링 및 확장 칼만 필터링보다 파라미터 추정 정확도에서 뛰어난 성능을 보였다.
• 가우스-에르미트 적분은 매끄러운 비선형성에서 경쟁 가능한 성능을 보였지만, 유한변환보다 계산 비용이 더 높았다.
• 가우시안 노이즈가 첨가된 선형 파라미터 모델에서 EM의 닫힘형 M단계 업데이트를 성공적으로 유도하여 효율적인 최적화를 가능케 하였다.
• 고차수 시그마점 필터를 사용한 직접 우도 방법은 시뮬레이션 실험 전반에서 입자 필터링보다 더 좋은 수렴 성능과 낮은 추정 오차를 달성하였다.
• 결과적으로 고차수 시그마점 근사는 복잡한 역학을 가지는 비선형 시스템에서 우도 표면 근사에 상당한 향상을 이끌 수 있음을 시사한다.