[논문 리뷰] Sequential Inference for Latent Force Models

Jouni Hartikainen, Simo Särkkä|arXiv (Cornell University)|2012. 02. 14.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 7인용 수 15

한 줄 요약

이 논문은 잠재력장 모델(Latent Force Models, LFMs)을 위한 순차적 추론 프레임워크를 제안하며, 가우시안 프로세스 사전분포를 선형 상태공간 모델로 재구성하여 칼만 필터링 및 스무딩을 통한 효율적 추론을 가능하게 한다. 이는 스위칭 잠재력장 모델에 대해 스위칭 선형 동적 시스템으로 모델링하여 도시 내 자동차 이동에서의 스위칭 포인트 추론 성능을 향상시킨다.

ABSTRACT

Latent force models (LFMs) are hybrid models combining mechanistic principles with non-parametric components. In this article, we shall show how LFMs can be equivalently formulated and solved using the state variable approach. We shall also show how the Gaussian process prior used in LFMs can be equivalently formulated as a linear statespace model driven by a white noise process and how inference on the resulting model can be efficiently implemented using Kalman filter and smoother. Then we shall show how the recently proposed switching LFM can be reformulated using the state variable approach, and how we can construct a probabilistic model for the switches by formulating a similar switching LFM as a switching linear dynamic system (SLDS). We illustrate the performance of the proposed methodology in simulated scenarios and apply it to inferring the switching points in GPS data collected from car movement data in urban environment.

연구 동기 및 목표

• 상태공간 표현을 활용하여 잠재력장 모델(Latent Force Models, LFMs)에 대한 효율적인 순차적 추론 방법을 개발한다.
• LFMs의 가우시안 프로세스 사전분포를 백색 잡음으로 구동되는 선형 상태공간 모델로 재구성한다.
• 칼만 필터 및 스무딩 기법을 사용하여 확장 가능하고 정확한 추론을 가능하게 한다.
• 스위칭 동역학을 스위칭 선형 동적 시스템(Switching Linear Dynamic System, SLDS)으로 모델링하여 프레임워크를 스위칭 LFMs로 확장한다.
• 시뮬레이션 데이터 및 실세계 GPS 경로 데이터를 활용하여 접근 방식을 검증한다.

제안 방법

• LFMs의 가우시안 프로세스 사전분포를 백색 잡음으로 구동되는 선형 상태공간 모델로 재구성하여 순차적 처리를 가능하게 한다.
• 표준 칼만 필터 및 라우흐-퉁-스트리벨 스무딩을 사용하여 상태공간 표현에 대한 효율적 추론을 수행한다.
• 스위칭 상태를 위한 은닉 마르코프 모델을 사용하여 LFMs의 스위칭 행동을 스위칭 선형 동적 시스템(Switching Linear Dynamic System, SLDS)으로 모델링한다.
• 변분 추론 또는 기대값최대화(Expectation-Maximization)를 사용하여 SLDS 표현의 매개변수를 학습한다.
• 상태공간 모델과 스위칭 모델을 통합된 확률적 프레임워크로 통합하여 순차적 학습을 수행한다.
• 잠재 메커니즘 성분과 비모수적 노이즈를 포함한 시계열 데이터에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 잠재력장 모델(LFMs)의 가우시안 프로세스 사전분포는 효율적 순차적 추론을 위해 선형 상태공간 모델로 등가로 표현될 수 있는가?
• RQ2 칼만 필터링 및 스무딩은 LFMs의 상태공간 표현에서 어떻게 추론에 적용될 수 있는가?
• RQ3 은닉 상태를 갖는 스위칭 선형 동적 시스템(Switching Linear Dynamic System, SLDS)을 사용하여 LFMs의 스위칭 행동을 모델링할 수 있는가?
• RQ4 제안된 순차적 추론 방법은 스위칭 동역학을 보이는 실세계 GPS 경로 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 노이즈가 있는 GPS 관측치에서 도시 내 차량 이동의 스위칭 포인트를 모델이 얼마나 정확하게 추론할 수 있는가?

주요 결과

• LFMs의 상태공간 표현은 표준 칼만 필터링 및 스무딩 기법을 사용한 효율적 순차적 추론을 가능하게 한다.
• 칼만 필터 및 스무딩기는 LFM 프레임워크 내 잠재 상태와 하이퍼파ram터에 대한 정확한 후행 추정을 제공한다.
• SLDS로 표현된 스위칭 LFM 모델은 GPS 데이터에서 관측된 급격한 동역학 변화를 성공적으로 포착한다.
• 이 방법은 노이즈에 강건하고 복잡한 운동 패턴을 포함한 도시 내 차량 경로의 스위칭 포인트를 정확하게 추론한다.
• 시뮬레이션 및 실세계 GPS 데이터에 대한 실험 결과는 제안된 방법이 동역학적 제도 변화 탐지에서 기준 방법보다 뛰어난 성능을 보임을 보여준다.
• 프레임워크는 확장 가능한 추론을 지원하며 하이브리드 메커니즘 및 비모수적 모델링을 포함한 실시간 응용에 적합하다.