[논문 리뷰] Infinite-Horizon Gaussian Processes

Arno Solin, James Hensman외 1명|arXiv (Cornell University)|2018. 11. 15.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 장기 시계열에서 안정 상태 후행 분포를 활용하여 상태공간 가우시안 프로세스의 계산 복잡도를 O(m³n)에서 O(m²n)으로 감소시키는 새로운 근사 방법인 무한시간 가우시안 프로세스(IHGP)를 제안한다. 이 방법은 실시간 추론과 온라인 초모수 학습을 가능하게 하며, 최대 200만 개의 데이터 포인트를 처리하는 스트리밍 데이터에서 성능을 입증하였다. 또한 스마트폰에서 100 Hz로 실시간으로도 구동 가능하다.

ABSTRACT

Gaussian processes provide a flexible framework for forecasting, removing noise, and interpreting long temporal datasets. State space modelling (Kalman filtering) enables these non-parametric models to be deployed on long datasets by reducing the complexity to linear in the number of data points. The complexity is still cubic in the state dimension $m$ which is an impediment to practical application. In certain special cases (Gaussian likelihood, regular spacing) the GP posterior will reach a steady posterior state when the data are very long. We leverage this and formulate an inference scheme for GPs with general likelihoods, where inference is based on single-sweep EP (assumed density filtering). The infinite-horizon model tackles the cubic cost in the state dimensionality and reduces the cost in the state dimension $m$ to $\mathcal{O}(m^2)$ per data point. The model is extended to online-learning of hyperparameters. We show examples for large finite-length modelling problems, and present how the method runs in real-time on a smartphone on a continuous data stream updated at 100~Hz.

연구 동기 및 목표

• 상태 차원 m에 따른 제곱 비용이 발생하는 상태공간 GP 모델의 실용적 사용을 제한하는 문제를 해결하기 위해.
• 비정규 분포 우도를 가진 장기적이거나 스트리밍 시계열 데이터에 대해 효율적인 추론과 온라인 초모수 학습을 가능하게 하기 위해.
• 스마트폰과 같은 임베디드 장치에 적합한 확장 가능한 실시간 GP 프레임워크를 개발하기 위해.
• 대규모 및 비 stationary 시계열 모델링에서 계산 비용을 크게 줄이면서도 높은 정확도를 유지하기 위해.

제안 방법

• 장기 시계열에서 후행 분포가 안정 상태에 도달한다고 가정하는 무한시간 GP(IHGP) 근사를 제안한다.
• 일般 우도에 대해 단일 스weep 기반 기대치 최적화(EP)를 Assumed Density Filtering(AFD)를 통해 구현한다.
• GP 후행 분포의 안정 상태 변동성을 활용하여 전체 상태 전이를 반복 계산하지 않도록 한다.
• 마르코프 트레일을 기각하고 안정 상태 분포에서 재초기화하여 계산 복잡도를 O(m³n)에서 O(m²n)으로 감소시킨다.
• 마진 분포의 우도에 대한 점진적 기울기 업데이트를 통해 온라인으로 초모수를 학습할 수 있도록 한다.
• 스마트폰 포함한 모바일 장치에서 실시간 배포를 위해 C++/Objective-C로 구현한다.

실험 결과

연구 질문

• RQ1 장기 시계열에서 GP의 안정 상태 후행 분포를 활용하여 계산 비용을 줄일 수 있는가?
• RQ2 비정규 분포 우도와 스트리밍 데이터에 대해 상태공간 GP 추론을 어떻게 효율적으로 만들 수 있는가?
• RQ3 IHGP는 O(m³n)에서 O(m²n)로 복잡도를 감소시키면서도 정확도를 유지할 수 있는가?
• RQ4 IHGP는 자원이 제한된 장치인 스마트폰과 같은 환경에서 실시간으로 적응 가능한 모델링에 적합한가?
• RQ5 온라인 초모수 학습이 IHGP 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• IHGP는 O(m²n)의 복잡도를 달성하여 기존 상태공간 GP 추론의 O(m³n) 비용을 크게 감소시켰다.
• 기준 데이터셋에서 전체 GP 및 상태공간 ADF와 거의 동일한 결과를 도출하였으며, 초기 시점에서 약간의 경계 효과 외에는 차이가 거의 없었다.
• 스마트폰에서 100 Hz로 실시간 추론이 가능했으며, 초모수 업데이트는 매 0.1초마다 수행되었다.
• 200만 개의 데이터 포인트를 가진 데이터셋에서, BFGS 최적화를 사용해 전체 추론을 624초 만에 완료하였다.
• 롤링 윈도우 온라인 환경에서 IHGP는 비정상적인 행동(예: 주택이 비어있을 때 주기적 성분의 감쇠)을 성공적으로 포착하였다.
• 항공기 사고 및 전기 소비 데이터셋을 통해 장기적 추세와 고주파 주기성을 포함한 복잡한 다중 척도 시계열 구조를 효과적으로 모델링하였다.