[論文レビュー] Gaussian Processes for Functional Autoregression

Daniel R. Kowal, David S. Matteson+1 more|arXiv (Cornell University)|Mar 9, 2016

Gaussian Processes and Bayesian Inference参考文献 35被引用数 1

ひとこと要約

本稿では、潜在過程をガウス過程の自己回帰モデルとしてモデル化することにより、疎で不規則的かつ誤差を含むデータに対しても対応できる階層的ガウス過程モデルを提案する。非パラメトリックな動的因子モデルと効率的なギブスサンプリングを用いることで、特に疎なサンプリング条件下でも予測および補間性能が優れている。また、ガウス分布の仮定を緩和しても理論的最適性が保証される。

ABSTRACT

We develop a hierarchical Gaussian process model for forecasting and inference of functional time series data. Unlike existing methods, our approach is especially suited for sparsely or irregularly sampled curves and for curves sampled with non-negligible measurement error. The latent process is dynamically modeled as a functional autoregression (FAR) with Gaussian process innovations. We propose a fully nonparametric dynamic functional factor model for the dynamic innovation process, with broader applicability and improved computational efficiency over standard Gaussian process models. We prove finite-sample forecasting and interpolation optimality properties of the proposed model, which remain valid with the Gaussian assumption relaxed. An efficient Gibbs sampling algorithm is developed for estimation, inference, and forecasting, with extensions for FAR(p) models with model averaging over the lag p. Extensive simulations demonstrate substantial improvements in forecasting performance and recovery of the autoregressive surface over competing methods, especially under sparse designs. We apply the proposed methods to forecast nominal and real yield curves using daily U.S. data. Real yields are observed more sparsely than nominal yields, yet the proposed methods are highly competitive in both settings.

研究の動機と目的

• 標準的手法が失敗する、疎で不規則的、または誤差を含むサンプリングにおける関数型時系列の予測問題に取り組む。
• 関数型自己回帰における動的ノイズ過程を柔軟に、非パラメトリックにモデル化する手法を開発する。
• ガウス分布の仮定を緩和しても、有限標本における予測および補間の理論的最適性を保証する。
• 関数型データに対する標準的なガウス過程モデルと比較して、計算効率とスケーラビリティを向上させる。
• 例えば、混合サンプリング周波数を持つ収益率曲線モデリングのような現実世界の設定でも、頑健な推論と予測を可能にする。

提案手法

• 時系列の潜在関数的過程を、ガウス過程のノイズを伴う関数型自己回帰（FAR）としてモデル化し、時間的依存性と関数的変動を捉える。
• 時間的に変化するノイズ過程を表現するため、完全に非パラメトリックな動的関数的要因モデルを導入し、柔軟性と計算効率を向上させる。
• 自己回帰表面とノイズ過程を同時にモデル化できる階層的ガウス過程事前分布を導入し、曲線間で情報の共有を可能にする。
• 後部確率推論、予測、不確実性の定量化のための効率的なギブスサンプリングアルゴリズムを開発し、遅れ次数 p におけるモデル平均化の拡張も行う。
• ガウス分布の仮定を緩和しても、有限標本における予測および補間の最適性を維持するようにモデルを定式化する。
• シミュレーションおよび実際の収益率曲線データに本モデルを適用し、さまざまなサンプリング体制下での頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなガウス過程モデルは、疎または不規則にサンプリングされた関数型時系列の予測精度を向上させることができるか？
• RQ2 本手法は、不規則にサンプリングされた曲線の下にある自己回帰表面を、既存手法と比較してどの程度よく回復できるか？
• RQ3 ノイズにガウス分布の仮定を緩和した場合、予測および補間手続きの理論的最適性にどの程度影響を与えるか？
• RQ4 ノイズのための動的関数的要因モデルは、関数型時系列の文脈において、標準的なGPモデルと比較してより高い計算効率を達成できるか？
• RQ5 名目と実質の米国収益率曲線を、異なるサンプリング周波数で予測する現実世界の応用において、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、特に疎なサンプリング設計下において、競合手法と比較して顕著な予測性能の向上を達成している。
• シミュレーション研究において、不規則にサンプリングされた曲線の下にある自己回帰表面の回復性能が強く、ベンチマークを上回っている。
• ノイズのガウス分布の仮定を緩和しても、有限標本における予測および補間の理論的最適性が保持されている。
• ギブスサンプリングアルゴリズムにより、効率的な推定、推論、予測が可能であり、ノイズの非パラメトリック要因モデルのおかげでスケーラビリティが向上している。
• 米国収益率曲線への実応用において、頻繁にサンプリングされる名目収益率と、疎にサンプリングされる実質収益率の両方において、高い競争力を持つ。
• 遅れ次数 p におけるモデル平均化により、特に最適な遅れ構造が不確実な状況でも、頑健性と予測性能が向上している。