[论文解读] The Automatic Statistician: A Relational Perspective

Yunseong Hwang, Tong, Anh+1 more|arXiv (Cornell University)|Nov 26, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用 4

一句话总结

本文提出了关系核学习（RKL）和共享关系核学习（SRKL）两种关系多核学习方法，利用高斯过程从多个时间序列数据集中发现共享与独特性协方差结构。通过利用跨数据集的证据，RKL与SRKL在模型拟合（BIC）和外推精度（RMSE）方面均优于单数据集的组合核学习（CKL），尤其在捕捉9/11市场崩盘和央行利率公告等关键事件方面表现更优。

ABSTRACT

Gaussian Processes (GPs) provide a general and analytically tractable way of modeling complex time-varying, nonparametric functions. The Automatic Bayesian Covariance Discovery (ABCD) system constructs natural-language description of time-series data by treating unknown time-series data nonparametrically using GP with a composite covariance kernel function. Unfortunately, learning a composite covariance kernel with a single time-series data set often results in less informative kernel that may not give qualitative, distinctive descriptions of data. We address this challenge by proposing two relational kernel learning methods which can model multiple time-series data sets by finding common, shared causes of changes. We show that the relational kernel learning methods find more accurate models for regression problems on several real-world data sets; US stock data, US house price index data and currency exchange rate data.

研究动机与目标

• 为解决单数据集核学习在时间序列数据上生成信息量较少、缺乏区分性的模型这一局限性。
• 实现通过关系学习自动发现多个时间序列数据集之间的共享、可解释的协方差结构。
• 通过在多个数据集中联合学习公共核与个体组件，提升模型的准确性和可解释性。
• 在真实世界金融数据（包括美国股票、房地产指数和货币汇率）上验证该方法。

提出的方法

• 提出关系自动贝叶斯协方差发现（RABCD），一种用于关系核学习的非参数贝叶斯框架。
• 引入两种方法：RKL，其在多个时间序列数据集中学习共享复合核与各自主缩放因子。
• 引入SRKL，其在RKL基础上增加每个数据集的独有谱混合核，以捕捉独特动态。
• 使用复合协方差核的高斯过程，其核运算在加法与乘法下封闭，实现灵活且可解释的建模。
• 应用核运算语法与自动组合，从数据中发现人类可读、可解释的核结构。
• 采用负对数似然、BIC与RMSE作为评估指标，比较模型在训练与测试数据上的性能。

实验结果

研究问题

• RQ1 关系核学习是否能通过发现多个时间序列数据集之间的共享协方差结构，提升模型拟合度与可解释性？
• RQ2 共享核学习在捕捉市场崩盘或政策变化等关键事件方面，与单数据集核学习相比表现如何？
• RQ3 同时包含共享与独特核的模型是否能实现优于仅含共享核或仅含个体组件模型的外推性能？
• RQ4 关系学习在多大程度上降低了模型复杂度与超参数数量，同时提升泛化能力？

主要发现

• 在6个真实世界数据集中的5个上，RKL的贝叶斯信息准则（BIC）低于CKL，表明其在参数更少的情况下实现了更优的模型拟合。
• 在美国股票数据上，RKL将RMSE从CKL的0.78降低至0.38，显著提升了外推性能。
• 在6个数据集中的5个上，SRKL在RMSE上优于CKL与RKL，包括在CURRENCY4上实现201.56的RMSE，而CKL为330.00。
• RKL成功将9/11市场暴跌识别为在特定时间窗口内使用常数核的独立成分，而CKL则将其视为平滑变化的一部分。
• SRKL在2015年9月中旬至10月中旬期间，识别出汇率市场中显著的改变点，与美联储利率公告相关，而ABCD在除一种货币外的所有货币中均未捕捉到该事件。
• SRKL中的共享核捕捉了普遍的市场动态，而独特的谱混合核则建模了各时间序列中特有的、异质的行为。