[논문 리뷰] MAGMA: Inference and Prediction with Multi-Task Gaussian Processes

Arthur Leroy, Pierre Latouche외 2명|arXiv (Cornell University)|2020. 07. 21.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 2

한 줄 요약

이 논문은 시간 시계열 예측을 향상시키기 위해 접근 가능한 초모수 사후 분포 추론를 갖는 공통 평균 과정을 GP로 모델링하는 새로운 다중 작업 가우시안 프로세스 프레임워크인 Magma를 소개한다. EM 알고리즘을 사용하여 비정규적인 관측이 있는 작업 간에 불확실성 인식이 가능하고 계산적으로 효율적인 예측을 가능하게 하며, 표준 다중 작업 GP 모델에 비해 다중 단계 예측 성능을 크게 향상시킨다.

ABSTRACT

A novel multi-task Gaussian process (GP) framework is proposed, by using a common mean process for sharing information across tasks. In particular, we investigate the problem of time series forecasting, with the objective to improve multiple-step-ahead predictions. The common mean process is defined as a GP for which the hyper-posterior distribution is tractable. Therefore an EM algorithm is derived for handling both hyper-parameters optimisation and hyper-posterior computation. Unlike previous approaches in the literature, the model fully accounts for uncertainty and can handle irregular grids of observations while maintaining explicit formulations, by modelling the mean process in a unified GP framework. Predictive analytical equations are provided, integrating information shared across tasks through a relevant prior mean. This approach greatly improves the predictive performances, even far from observations, and may reduce significantly the computational complexity compared to traditional multi-task GP models. Our overall algorithm is called extsc{Magma} (standing for Multi tAsk Gaussian processes with common MeAn). The quality of the mean process estimation, predictive performances, and comparisons to alternatives are assessed in various simulated scenarios and on real datasets.

연구 동기 및 목표

• 표준 다중 작업 GP 모델이 다중 단계 예측에 한계를 보이는 문제를 해결하기 위해.
• 희소 관측 또는 비정규적으로 샘플링된 시간 시계열에 대한 예측 성능을 향상시키기 위해.
• 공통 평균 과정의 불확실성을 완전히 반영하는 접근 가능한 추론 방법을 개발하기 위해.
• 공통 평균을 위한 통합 GP 프레임워크를 활용하여 계산 효율성을 높이기 위해.
• 공통적이고 정보적인 사전 평균을 통해 작업 간에 정보를 통합하는 분석적 예측 방정정식을 제공하기 위해.

제안 방법

• 불확실성 측정을 가능하게 하기 위해 계층적 사전분포를 갖는 가우시안 프로세스로 공통 평균 과정을 모델링하기 위해.
• 개별 커널과 초모수를 사용하여 작업별 공분산 구조를 정의하면서도, 공통 평균 과정은 모든 작업 간에 공유하기 위해.
• 초모수를 공동 최적화하고 공통 평균 과정의 초모수 사후분포를 계산하기 위해 EM 알고리즘을 유도하기 위해.
• 비용이 많이 드는 MCMC 샘플링을 피하기 위해 평균 과정의 사후분포를 분석적으로 최적화하기 위해.
• 공통 평균 과정의 사후 평균과 공분산에 대한 닫힌 형태 식을 사용하여 E단계를 설정하기 위해.
• 공통 평균에서 유도된 불확실성을 작업별 예측으로 전파하는 예측 방정식을 통합하기 위해.

실험 결과

연구 질문

• RQ1 독립적 또는 표준 다중 작업 GP 모델에 비해 공통 GP 평균 과정을 사용함으로써 다중 단계 예측 성능이 향상되는가?
• RQ2 다중 작업 환경에서 공통 평균 과정의 불확실성은 어떻게 효율적으로 측정하고 전파할 수 있는가?
• RQ3 접근 가능한 초모수 사후분포 추론를 갖는 GP로 공통 평균을 모델링하면, 특히 희소하거나 비정규적으로 관측된 데이터에 대해 더 높은 예측 정확도를 달성하는가?
• RQ4 제안된 EM 기반 추론 알고리즘이 복잡하고 고차원적인 다중 작업 시간 시계열을 처리하면서도 계산 효율성을 유지할 수 있는가?
• RQ5 작업 간 공통 초모수와 개별 초모수의 영향은 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Magma는 관측된 데이터 포인트에서 멀리 떨어져 있을지라도 다중 단계 예측 성능을 크게 향상시킨다.
• 공통 평균을 위한 통합 GP 프레임워크와 분석적 추론을 활용함으로써, 전통적인 다중 작업 GP 모델에 비해 계산 복잡도를 감소시킨다.
• EM 알고리즘은 접근 가능한 닫힌 형태의 업데이트를 통해 초모수 공동 최적화와 초모수 사후분포 계산을 가능하게 한다.
• 공통 평균 과정은 작업 간 정보 공유를 효과적으로 수행하여 희소하게 관측된 개별 개체에 대해 더 강력한 예측을 이끈다.
• 시뮬레이션 및 실세계 데이터셋에 대한 실험 결과는 Magma가 예측 정확도와 불확실성 캘리브레이션 측면에서 베이스라인 다중 작업 GP 모델을 능가함을 보여준다.
• R 패키지 MagmaClustR는 공개되어 있어 메서드의 재현성과 실용적 적용을 가능하게 한다.