[논문 리뷰] Efficient State-Space Inference of Periodic Latent Force Models

Steven Reece, Stephen Roberts외 3명|arXiv (Cornell University)|2013. 10. 23.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 14

한 줄 요약

이 논문은 주기적 잠재력 모델(LFMs)을 위한 새로운 상태공간 추론 방법을 제안한다. 주기적 및 준주기적 가우시안 프로세스 사전분포를 효율적으로 표현하기 위해 커널 주성분 분석(KPCA)에서 유도된 고유함수 기반 모델을 사용한다. 이 방법은 비주기적 모델 대비 RMSE를 17%로 줄이고, 공진기 모델 대비 27%로 줄이며, 수동 하이퍼파rameter 조정 없이도 전체 베이지안 추론을 유지하면서도 확장 가능한 원리적인 추론을 가능하게 한다.

ABSTRACT

Latent force models (LFM) are principled approaches to incorporating solutions to differential equations within non-parametric inference methods. Unfortunately, the development and application of LFMs can be inhibited by their computational cost, especially when closed-form solutions for the LFM are unavailable, as is the case in many real world problems where these latent forces exhibit periodic behaviour. Given this, we develop a new sparse representation of LFMs which considerably improves their computational efficiency, as well as broadening their applicability, in a principled way, to domains with periodic or near periodic latent forces. Our approach uses a linear basis model to approximate one generative model for each periodic force. We assume that the latent forces are generated from Gaussian process priors and develop a linear basis model which fully expresses these priors. We apply our approach to model the thermal dynamics of domestic buildings and show that it is effective at predicting day-ahead temperatures within the homes. We also apply our approach within queueing theory in which quasi-periodic arrival rates are modelled as latent forces. In both cases, we demonstrate that our approach can be implemented efficiently using state-space methods which encode the linear dynamic systems via LFMs. Further, we show that state estimates obtained using periodic latent force models can reduce the root mean squared error to 17% of that from non-periodic models and 27% of the nearest rival approach which is the resonator model.

연구 동기 및 목표

• 주기적 또는 준주기적 잠재력이 존재할 때 기존 잠재력 모델(LFMs)의 계산 비용이 과도한 문제를 해결하기 위해.
• 정적 주기적, 비정적 주기적, 준주기적 가우시안 프로세스 사전분포를 수용할 수 있도록 LFMs 내 상태공간 추론을 확장하기 위해.
• 커널 주성분 분석(KPCA)에서 유도된 고유함수를 사용하여 주기적 잠재력의 희소하고 효율적인 표현을 개발하기 위해.
• GP 사전분포의 구조를 상태공간 모델에 직접 통합함으로써 수동 하이퍼파rameter 조정 없이도 완전한 베이지안 추론을 가능하게 하기 위해.
• 실세계 문제, 예를 들어 가정 난방과 콜센터 대기열과 같은 주기적 역학을 다루는 데서의 효과성을 입증하기 위해.

제안 방법

• 시간 영역에서 커널 주성분 분석(KPCA)에서 유도된 고유함수를 사용한 선형 기저 모델(LBM)을 활용하여 주기적 잠재력을 표현한다.
• 고유함수는 주기적 GP 사전분포의 공분산 함수에서 계산되며, 이는 기저가 전체 사전분포의 구조를 정확히 반영하도록 보장한다.
• 상태 벡터에 LBM의 계수를 추가하여 잠재력을 표현함으로써, 칼만 필터링을 통한 효율적인 상태공간 추론이 가능해진다.
• KPCA 기저를 잠재력의 시간에 따라 변화하는 특성에 적응시킴으로써 정적 및 비정적 주기적 과정을 모두 모델링할 수 있다.
• 준주기적 힘은 시간에 따라 변화하는 진폭을 가진 고유함수의 가중합으로 모델링되며, 이는 매일의 주기적 패턴 변화를 수용할 수 있다.
• 모델의 모든 파rameter, 하이퍼파rameter 포함, 최대우도 또는 베이지안 방법을 통해 추론되어 수동 조정이 필요 없다.

실험 결과

연구 질문

• RQ1 주기적 및 준주기적 잠재력이 상태공간 프레임워크 내에서 잠재력 모델(LFMs)에 효율적으로 표현될 수 있는가?
• RQ2 제안된 고유함수 기반 LBM 표현 방식이 공진기 모델과 같은 기존 방법보다 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ3 이 방법은 가정 난방과 콜센터의 고객 도착과 같은 복잡한 비정적 주기적 역학을 다룰 수 있는가?
• RQ4 선형 및 비선형 시스템 모두에서 주기적 사전분포를 통합함으로써 예측 오차가 비주기적 모델 대비 얼마나 감소하는가?
• RQ5 GP 사전분포의 정보를 상태공간 표현에 완전히 통합하면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 열역학적 동역학 예측에서 비주기적 모델 대비 루트 평균 제곱 오차(RMSE)를 17%로 감소시켰으며, 기준선 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 콜센터 응용 분야에서는 주기적 모델이 비주기적 모델 대비 RMSE를 최대 83%까지 감소시켜 매일의 도착률 패턴에 대해 강력한 성능을 입증했다.
• 열역학적 동역학 응용에서 고유함수 기반 모델은 공진기 모델 대비 RMSE를 최대 74%까지 감소시켰으며, 잔류 열 프로파일의 모델링에서 뛰어난 성능을 보였다.
• 준주기적 모델(WQM 및 SQM)은 양측 응용 분야에서 평균 제곱 오차가 가장 낮고 기대 로그우도가 가장 높았으며, 특히 진폭이 변동하는 주기적 패턴이 존재하는 상황에서 뛰어난 성능을 보였다.
• 이 방법은 선형(가정 난방) 및 비선형(콜센터) 시스템 모두에서 효율적인 추론을 성공적으로 구현하여 광범위한 적용 가능성을 입증했다.
• 이 방법은 기존 공진기 모델(Särkkä 등, 2012; Hartikainen 등, 2012)을 능가하는 최첨단 성능을 달성하였으며, RMSE를 그 값의 27%로 감소시켰다.