[논문 리뷰] Gaussian Processes for Functional Autoregression

Daniel R. Kowal, David S. Matteson외 1명|arXiv (Cornell University)|2016. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 1

한 줄 요약

이 논문은 이질적, 희박하고 오차가 있는 데이터를 다루기 위해 잠재 과정을 가우시안 프로세스 변화항을 가진 기능적 자기회귀모형으로 모델링하는 계층적 가우시안 프로세스 모델을 제안한다. 비모수적 동적 요인 모형과 효율적인 깁스 샘플링을 통해 희박한 표본 추출 조건에서도 예측 및 보간 성능이 뛰어나며, 가우시안 가정이 느슨해져도 이론적으로 최적임이 입증된다.

ABSTRACT

We develop a hierarchical Gaussian process model for forecasting and inference of functional time series data. Unlike existing methods, our approach is especially suited for sparsely or irregularly sampled curves and for curves sampled with non-negligible measurement error. The latent process is dynamically modeled as a functional autoregression (FAR) with Gaussian process innovations. We propose a fully nonparametric dynamic functional factor model for the dynamic innovation process, with broader applicability and improved computational efficiency over standard Gaussian process models. We prove finite-sample forecasting and interpolation optimality properties of the proposed model, which remain valid with the Gaussian assumption relaxed. An efficient Gibbs sampling algorithm is developed for estimation, inference, and forecasting, with extensions for FAR(p) models with model averaging over the lag p. Extensive simulations demonstrate substantial improvements in forecasting performance and recovery of the autoregressive surface over competing methods, especially under sparse designs. We apply the proposed methods to forecast nominal and real yield curves using daily U.S. data. Real yields are observed more sparsely than nominal yields, yet the proposed methods are highly competitive in both settings.

연구 동기 및 목표

• 표준 방법이 실패하는 희박하거나 이질적이거나 오차가 많은 표본 추출 조건에서 기능적 시계열을 예측하는 문제에 대응한다.
• 기능적 자기회귀에서의 동적 변화항 과정을 모델링하기 위한 유연하고 비모수적인 접근법을 개발한다.
• 유한 표본 조건에서도 가우시안 가정이 느슨해져도 예측 및 보간에서 이론적 최적성을 확보한다.
• 기능 데이터를 위한 표준 가우시안 프로세스 모델에 비해 계산 효율성과 확장성을 향상시킨다.
• 예를 들어 혼합 표본 빈도를 가진 수익률 곡선 모델링과 같은 실제 환경에서 강인한 추론과 예측을 가능하게 한다.

제안 방법

• 시간적 의존성과 기능적 변동을 포착하기 위해 잠재 기능적 시계열을 가우시안 프로세스 변화항을 가진 기능적 자기회귀(FAR)로 모델링한다.
• 시간에 따라 변화하는 변화항 과정을 표현하기 위해 완전히 비모수적 동적 기능적 요인 모형을 도입하여 모델의 민감성과 계산 효율성을 향상시킨다.
• 자기회귀 표면과 변화항 과정을 함께 모델링하기 위해 계층적 가우시안 프로세스 사전분포를 사용하여 곡선 간의 강도를 공유한다.
• 효율적인 깁스 샘플링 알고리즘을 개발하여 사후 추론, 예측 및 불확실성 정량화를 수행하며, 지연 차수 p에 대한 모델 평균화 확장을 포함한다.
• 유한 표본에서 예측 및 보간의 최적성을 유지하도록 모델을 구성하며, 변화항에 대한 가우시안 가정이 느슨해져도 성립한다.
• 모델을 시뮬레이션 및 실제 수익률 곡선 데이터에 적용하여 다양한 표본 추출 방식에서의 강인성을 입증한다.

실험 결과

연구 질문

• RQ1 비모수적 가우시안 프로세스 모델이 희박하거나 이질적으로 샘플링된 기능적 시계열의 예측 정확도를 향상시킬 수 있는가?
• RQ2 희박한 설계 조건에서 기존 방법과 비교해 제안된 모델이 진짜 자기회귀 표면을 얼마나 잘 복원하는가?
• RQ3 변화항에 대한 가우시안 가정을 느슨하게 할 경우 예측 및 보간 절차의 이론적 최적성에 어떤 영향을 미치는가?
• RQ4 변화항에 대한 동적 기능적 요인 모형이 기능적 시계열 설정에서 표준 GP 모델에 비해 더 높은 계산 효율성을 달성할 수 있는가?
• RQ5 노이즈가 많고 표본 빈도가 다른 실제 응용, 예를 들어 명목 수익률 곡선과 실질 수익률 곡선을 예측하는 데에 이 방법은 얼마나 잘 작동하는가?

주요 결과

• 제안된 모델은 특히 희박한 표본 추출 설계에서 경쟁 모델에 비해 예측 성능이 크게 향상된다.
• 희박하게 샘플링된 곡선을 가진 시뮬레이션 연구에서 기존 방법보다 우수한 기능적 자기회귀 표면 복원 능력을 보였다.
• 가우시안 가정이 느슨해져도 예측 및 보간에서의 유한 표본 최적성이 유지됨이 입증되었다.
• 깁스 샘플링 알고리즘이 효율적인 추정, 추론 및 예측을 가능하게 하며, 변화항에 대한 비모수적 요인 모형 덕분에 확장성도 향상되었다.
• 미국 수익률 곡선에 대한 실증 적용에서 명목 수익률(빈번하게 샘플링됨)과 실질 수익률(희박하게 샘플링됨) 모두에서 매우 경쟁력 있는 성능을 유지했다.
• 지연 차수 p에 대한 모델 평균화가 불확실한 최적 지연 구조가 있는 설정에서 강인성과 예측 성능을 향상시켰다.