[논문 리뷰] State Space Gaussian Processes with Non-Gaussian Likelihood

Hannes Nickisch, Arno Solin외 1명|arXiv (Cornell University)|2018. 02. 13.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 14

한 줄 요약

이 논문은 상태공간 방법을 사용하여 비정규 분포 사례를 가진 가우시안 프로세스 추론을 위한 통합적이고 효율적인 프레임워크를 제안한다. 이는 O(n) 시간 및 메모리 복잡도를 보장한다. 라플라스 근사, 변분 베이즈, 기대치 기반 추론을 상태공간 설정으로 확장하고, 컨volution 보간을 통해 행렬 지수 계산을 가속화함으로써 대규모 시계열 데이터셋에서 높은 정확도를 유지하면서도 상당한 속도 향상을 이룬다.

ABSTRACT

We provide a comprehensive overview and tooling for GP modeling with non-Gaussian likelihoods using state space methods. The state space formulation allows for solving one-dimensional GP models in $\mathcal{O}(n)$ time and memory complexity. While existing literature has focused on the connection between GP regression and state space methods, the computational primitives allowing for inference using general likelihoods in combination with the Laplace approximation (LA), variational Bayes (VB), and assumed density filtering (ADF, a.k.a. single-sweep expectation propagation, EP) schemes has been largely overlooked. We present means of combining the efficient $\mathcal{O}(n)$ state space methodology with existing inference methods. We extend existing methods, and provide unifying code implementing all approaches.

연구 동기 및 목표

• 일반적으로 비용이 많이 드는 근사 계산이 필요한 비정규 분포 사례를 가진 가우시안 프로세스 모델에서의 계산 병목 현상을 해결한다.
• 상태공간 표현을 활용하여 대규모 시계열 데이터셋에 대한 확장 가능한 추론을 가능하게 하며, 복잡도를 O(n)으로 감소시킨다.
• 라플라스 근사, 변분 베이즈, 기대치 기반 추론, KL 수렴 최소화와 같은 여러 근사 추론 기법들을 하나의 상태공간 프레임워크 내에서 통합하고 구현한다.
• 불규칙하게 샘플링된 데이터에서 행렬 지수 평가가 비용이 많이 드는 상수 요인으로 인한 O(n) 복잡도의 고정 비용 문제를 해결한다.
• 재현성과 실용적 적용을 지원하기 위해 GPML 툴박스에 기반한 참조 구현을 제공한다.

제안 방법

• 마르코프 코푈반스 함수를 사용하여 연속 시간 상태공간 모델로 가우시안 프로세스를 표현함으로써 정확한 칼만 필터링 및 스무딩을 가능하게 한다.
• 칼만 필터와 동적 시스템 이론을 기반으로 예측, 필터링, 스무딩을 위한 계산 기초를 개발한다.
• 기존의 추론 기법들(Laplace, VB, ADF/EP, KL)을 상태공간 설정으로 확장하기 위해 상태 사후 분포에 대한 재귀적 갱신 방식으로 공식화한다.
• 컨볼루션 보간을 도입하여 행렬 지수를 근사함으로써 시간 단위당 계산 비용을 감소시키고 추론 속도를 가속화한다.
• 칼만 필터 재귀식을 미분함으로써 모든 추론 기법에 대해 기반 기반 하이퍼파rameter 학습을 가능하게 한다.
• 모든 추론 방법과 사례 유형을 지원하는 통합 코드베이스를 구현하였으며, GPML 툴박스 v4.2에 통합하였다.

실험 결과

연구 질문

• RQ1 비정규 분포 사례를 가진 가우시안 프로세스 모델에서 상태공간 방법을 확장하여 O(n) 복잡도를 유지하면서도 적용할 수 있는가?
• RQ2 라플라스 근사, 변분 베이즈, 기대치 기반 추론과 같은 표준 근사 추론 기법들이 상태공간 프레임워크 내에서 어떻게 통합되고 효율적으로 구현될 수 있는가?
• RQ3 행렬 지수 계산이 O(n) 복잡도의 상수 요인에 미치는 영향은 무엇이며, 이를 어떻게 줄일 수 있는가?
• RQ4 제안된 보간 기반의 행렬 지수 가속화 방식이 실제 시계열 데이터에서 추론 속도와 정확도에 어떤 영향을 미치는가?
• RQ5 통합 프레임워크는 대규모 시계열 데이터셋에서 밀도 기반 GP 추론과 비교해 경쟁 가능한 예측 성능을 달성할 수 있는가?

주요 결과

• 제안된 상태공간 프레임워크는 비정규 분포 사례를 가진 GP 모델에 대해 O(n) 추론을 가능하게 하여 계산 효율성 측면에서 기존의 밀도 기반 방법보다 뛰어나다.
• 컨볼루션 보간을 사용함으로써 행렬 지수 계산의 런타임을 두 배로 단축시켜 O(n) 복잡도의 고정 비용 문제를 해결한다.
• 35,959개의 관측치를 가진 항공기 사고 데이터셋에서 ADF 추론을 사용하여 예측 RMSE는 0.98±0.02, NLPD는 1.47±0.01을 달성하였다.
• 모델은 사고 강도의 장기적 추세와 계절적 주기성을 명확히 포착하였으며, 시간이 지남에 따라 감쇠하는 겨울 모드의 시각화도 가능했다.
• 모든 추론 기법에서 기반 기반 하이퍼파rameter 최적화를 지원함으로써 종단 간 확장 가능한 훈련이 가능하다.
• GPML 툴박스 v4.2에 포함된 참조 구현은 실무자들이 실제 시계열 문제에 이러한 방법을 적용할 수 있도록 통합적이고 생산용으로 사용 가능한 도구를 제공한다.