[논문 리뷰] Multivariate Gaussian and Student-t Process Regression for Multi-output Prediction and Stock Market Modelling

Zexun Chen, Bo Wang외 1명|arXiv (Cornell University)|2017. 03. 13.

Grey System Theory Applications인용 수 1

한 줄 요약

이 논문은 다변량 정규분포 및 스튜던트-t 과정 회귀(MV-GPR 및 MV-TPR)를 위한 통합 프레임워크를 제안하며, 이는 폐쇄형 마진 가능도와 예측 분포를 가능하게 하여 이전의 재형식화 방법의 한계를 극복한다. 이 방법은 대기 질, 자전거 대여, 주식 시장 데이터에서 다중 출력 예측을 향상시키며, MV-TPR는 뛰어난 성능을 보이며 수익성 있는 투자 전략을 도출한다.

ABSTRACT

Gaussian process model for vector-valued function has been shown to be useful for multi-output prediction. The existing method for this model is to re-formulate the matrix-variate Gaussian distribution as a multivariate normal distribution. Although it is effective in many cases, re-formulation is not always workable and is difficult to apply to other distributions because not all matrix-variate distributions can be transformed to respective multivariate distributions, such as the case for matrix-variate Student$-t$ distribution. In this paper, we propose a unified framework which is used not only to introduce a novel multivariate Student$-t$ process regression model (MV-TPR) for multi-output prediction, but also to reformulate the multivariate Gaussian process regression (MV-GPR) that overcomes some limitations of the existing methods. Both MV-GPR and MV-TPR have closed-form expressions for the marginal likelihoods and predictive distributions under this unified framework and thus can adopt the same optimization approaches as used in the conventional GPR. The usefulness of the proposed methods is illustrated through several simulated and real data examples. In particular, we verify empirically that MV-TPR has superiority for the datasets considered, including air quality prediction and bike rent prediction. At last, the proposed methods are shown to produce profitable investment strategies in the stock markets.

연구 동기 및 목표

• 행렬형 다변량 정규분포를 다변량 형태로 재형식화하는 데 의존하는 기존의 행렬형 다변량 정규과정 방법의 한계를 해결하기 위해.
• 재형식화가 필요 없이 다변량 정규과정과 스튜던트-t 과정을 모두 지원하는 통합 프레임워크를 개발하기 위해.
• 기존의 과정 회귀와 동일한 최적화 프레임워크에서 MV-GPR 및 MV-TPR 모두에 대해 마진 가능도와 예측 분포의 폐쇄형 표현을 가능하게 하기 위해.
• 특히 대기 질, 자전거 대여, 금융 시계열 예측과 같은 시뮬레이션 및 실제 데이터 세트에서 제안된 모델을 경험적으로 검증하기 위해.
• 주식 시장 데이터에서의 수익성 있는 투자 전략 생성을 통해 모델의 실용적 유용성을 입증하기 위해.

제안 방법

• 행렬형 다변량 분포로 다변량 정규분포와 스튜던트-t 과정을 모두 처리하는 통합 프레임워크를 제안하며, 다변량 형태로의 변환을 요구하지 않는다.
• 새로운 프레임워크 하에서 MV-GPR 및 MV-TPR의 마진 가능도와 예측 분포에 대한 폐쇄형 표현을 유도한다.
• 기존의 표준 과정 회귀와 동일한 최적화 기법을 활용하여 효율적인 초모수 학습을 가능하게 한다.
• 구조화된 공분산 커널을 갖는 단일 벡터값 함수로 공동 출력을 모델링함으로써 다중 출력 예측 작업에 프레임워크를 적용한다.
• 중요한 외곽치에 대한 강건성을 향상시키기 위해, 무거운 尾를 가진 잡음 모델링을 위해 행렬형 스튜던트-t 분포를 사용한다.
• MV-GPR 및 MV-TPR 모두에 동일한 커널 구조를 사용하여, 분포 간 일관된 모델링과 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 행렬형 다변량 분포의 재형식화에 의존하지 않고도 다변량 정규분포와 스튜던트-t 과정을 모두 모델링할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 중요한 외곽치 또는 무거운 尾를 가진 잡음이 있는 다중 출력 예측 작업에서 제안된 MV-TPR 모델이 MV-GPR보다 우월한 성능을 보일 수 있는가?
• RQ3 제안된 프레임워크의 폐쇄형 표현이 기존 GPR 수준의 효율적 최적화 및 추론을 가능하게 하는가?
• RQ4 MV-TPR 모델이 무거운 尾 수익률에 강건함을 갖추고 있음에도 불구하고 주식 시장 데이터에서 수익성 있는 투자 전략을 생성할 수 있는가?
• RQ5 기존 방법과 비교하여 실세계 데이터 세트인 대기 질 및 자전거 대여 예측에서 제안된 모델의 성능은 어떠한가?

주요 결과

• 제안된 통합 프레임워크는 MV-GPR 및 MV-TPR 모두에 대해 마진 가능도와 예측 분포의 폐쇄형 표현을 가능하게 하여 효율적 최적화를 촉진한다.
• MV-TPR는 특히 무거운 尾 잡음 처리에서 대기 질 및 자전거 대여 예측 데이터 세트에서 MV-GPR보다 뛰어난 성능을 보였다.
• 이전의 재형식화 방법의 한계를 피할 수 있으며, 특히 다변량 형태로 변환할 수 없는 분포(예: 다변량 스튜던트-t)에 대해 유용하다.
• 경험적 결과는 외곽치 존재 시 MV-TPR가 더 강건한 예측을 생성함을 확인하여 실세계 다중 출력 회귀에 적합함을 입증한다.
• 제안된 모델은 주식 시장 데이터에서 수익성 있는 투자 전략을 생성하며, 표준 회귀 과제를 넘어서 실용적 유용성을 보여준다.
• 기존 GPR에서 사용하는 동일한 최적화 방법이 새로운 프레임워크 하에서 MV-GPR 및 MV-TPR 모두에 직접 적용 가능하여 계산 효율성을 보장한다.