[논문 리뷰] State Space representation of non-stationary Gaussian Processes

Alessio Benavoli, Marco Zaffalon|arXiv (Cornell University)|2016. 01. 07.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 선형 시간 변화 시스템 모델의 일시적 행동을 활용하여 비 stationary 가우시안 프로세스(GPs)에 대한 상태공간(SS) 표현을 제안한다. 이는 O(n) 추론 복잡도를 가능하게 한다. 이는 라플라스 변환을 통해 주기적, 스퍼링, 선형 회귀, 신경망 커널과 같은 비 stationary 커널들을 모두 SS 형태로 성공적으로 매핑하며, 태양흑점(58,306개 관측치, 1.5시간 실행 시간)과 같은 장기간 시계열 데이터에서 계산 효율성과 정확성을 입증한다.

ABSTRACT

The state space (SS) representation of Gaussian processes (GP) has recently gained a lot of interest. The main reason is that it allows to compute GPs based inferences in O(n), where $n$ is the number of observations. This implementation makes GPs suitable for Big Data. For this reason, it is important to provide a SS representation of the most important kernels used in machine learning. The aim of this paper is to show how to exploit the transient behaviour of SS models to map non-stationary kernels to SS models.

연구 동기 및 목표

• 기존 GP 추론의 계산 복잡도가 O(n³)로 증가하는 문제를 해결하기 위해, 상태공간 모델을 통해 O(n) 추론을 가능하게 한다.
• 이전에 stationary 커널에 국한되어 있던 기존의 GP 상태공간 표현을 주기적, 스퍼링, 신경망 커널과 같은 비 stationary 커널으로 확장한다.
• 선형 시간 변화 상태공간 모델의 일시적 반응을 활용하여 비 stationary 행동을 포착한다. 이는 일반적으로 stationary 시스템에서 忽略되는 바이다.
• 라플라스 변환을 사용하여 기계학습 커널의 광범위한 클래스를 상태공간 형태로 매핑하는 체계적인 프레임워크를 제공하며, 해석 가능성과 계산 효율성을 보장한다.
• 실제 장기간 시계열 데이터(예: 태양흑점 수치)에서의 효과를 입증함으로써 확장성과 정확성에 대한 검증을 수행한다.

제안 방법

• 시간 연속에서 선형 시간 변화 상태공간 모델을 사용하여 가우시안 프로세스를 확률적 미분방정식(SDEs)으로 표현하며, 시간에 따라 변하는 시스템 행렬 F(t), L(t), C(t)를 포함한다.
• 시스템의 일시적 행동을 포착하기 위해 라플라스 변환을 활용한다. 이는 초기 조건 및 구동 응답이 사라지지 않는 비 stationary 커널 모델링에 필수적이다.
• 주기적, 스퍼링, 선형 회귀 등의 특정 커널에 대해 라플라스 도메인 분석을 통해 해당 SDE와 상태 전이 행렬을 유도함으로써 상태공간 모델을 구축한다.
• 신경망 커널을 선형 시간 변화 SS 모델을 사용하여 상태공간 형태로 매핑한다. 이는 본질적으로 비 stationary이며, 복잡한 비 stationary 공분산 구조를 포착할 수 있다.
• 온라인 및 오프라인 추정을 각각 칼만 필터링과 스무딩을 통해 구현하며, SS 구조 덕분에 둘 다 O(n)으로 선형적으로 확장 가능하다.
• 베이지안 프레임워크 내에서 Rao-Blackwellised 입자 필터링을 사용하여 초모수를 추정함으로써, 데이터로부터 커널 파rameter의 강건한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비 stationary 가우시안 프로세스 커널을 체계적으로 상태공간 형태로 표현하여 효율적인 추론을 가능하게 할 수 있는가?
• RQ2 선형 시간 변화 상태공간 모델의 일시적 행동이 비 stationary 공분산 함수 모델링에 어떤 역할을 하는가?
• RQ3 라플라스 변환은 푸리에 변환을 넘어서 더 넓은 범위의 비 stationary 커널을 상태공간 모델로 매핑하는 데 더 일반적인 도구로 사용될 수 있는가?
• RQ4 상태공간 표현을 통해 GP가 장기간 시계열(예: 태양흑점 데이터)에서 O(n) 계산 복잡도를 달성할 수 있는가?
• RQ5 주기적 및 신경망 기반 상태공간 모델이 사인파나 가우시안 밀도와 같은 비주기적 또는 비연속 함수를 얼마나 잘 근사하는가?

주요 결과

• 제안된 방법은 선형 시간 변화 상태공간 모델로 표현함으로써, 기존의 O(n³) GP 추론에 비해 계산 비용을 크게 감소시키는 O(n) 추론을 가능하게 한다.
• 상태공간 모델의 일시적 반응은 비 stationary 커널 모델링에 핵심적이다. stationary 시스템과 달리 비 stationary 케이스에서는 일시적 반응이 사라지지 않고 지속되며, 행동을 형성한다.
• 라플라스 변환의 사용은 주기적, 스퍼링, 신경망 커널과 같은 비 stationary 커널들을 상태공간 형태로 매핑하는 통합적이고 해석 가능한 프레임워크를 제공한다.
• 사각파에 대해 J=6개의余弦 성분을 가진 주기적 SS 모델이 매우 정확한 사후 추정치를 도출하여, 비연속적이고 주기적인 함수를 포착할 수 있음을 입증한다.
• 신경망 SS 모델은 가우시안 밀도의 꼬리 부분을 성공적으로 근사하였으며, 근사 순서가 증가함에 따라 정확도가 향상되었다(J=10에서 J=20로).
• 장기간 태양흑점 시계열(58,306개 관측치)에서 J=8 성분을 가진 주기적 SS 모델은 주기 길이 10.36년을 추정하였고, 표준 랩탑에서 1.5시간 내에 추론를 완료하여 Big Data에 대한 확장성과 실용성을 확인하였다.