[论文解读] Extended T-process Regression Models

Zhanfeng Wang, Jian-Qing Shi+1 more|arXiv (Cornell University)|Nov 11, 2015

Advanced Statistical Methods and Models参考文献 20被引用 3

一句话总结

本文提出了一种扩展t过程回归（eTPR）模型，通过引入扩展t过程实现重尾误差结构，将高斯过程回归（GPR）扩展为对输入空间和输出空间中的异常值具有鲁棒性的最佳线性无偏预测（BLUP）。该模型保持了闭式预测分布和通过标准BLUP算法进行微小修改后的高效计算，在存在异常值的情况下，预测精度优于GPR和LOESS。

ABSTRACT

Gaussian process regression (GPR) model has been widely used to fit data when the regression function is unknown and its nice properties have been well established. In this article, we introduce an extended t-process regression (eTPR) model, which gives a robust best linear unbiased predictor (BLUP). Owing to its succinct construction, it inherits many attractive properties from the GPR model, such as having closed forms of marginal and predictive distributions to give an explicit form for robust BLUP procedures, and easy to cope with large dimensional covariates with an efficient implementation by slightly modifying existing BLUP procedures. Properties of the robust BLUP are studied. Simulation studies and real data applications show that the eTPR model gives a robust fit in the presence of outliers in both input and output spaces and has a good performance in prediction, compared with the GPR and locally weighted scatterplot smoothing (LOESS) methods.

研究动机与目标

• 开发一种鲁棒回归模型，能够在输入空间和输出空间均存在异常值的情况下保持预测精度。
• 通过采用重尾分布扩展高斯过程回归（GPR），在保持闭式预测分布和计算效率的同时实现模型扩展。
• 提供一种鲁棒的BLUP程序，可选择性地压缩极端观测值，尤其在稀疏采样区域。
• 通过利用现有BLUP算法框架，确保模型在高维协变量情况下的计算可行性。

提出的方法

• eTPR模型在潜在函数上使用扩展t过程（ETP）作为先验，通过高斯尺度混合构造，以诱导重尾的边缘分布。
• 该模型假设层次结构：观测方差由伽马分布先验的精度参数随机加权，从而实现对重尾误差的鲁棒性。
• 通过积分消去潜变量，推导出边缘分布和预测分布的闭式表达式，确保解析可解性。
• 通过修改标准GPR BLUP算法的版本计算鲁棒BLUP，仅需对现有实现进行微小调整。
• 该方法采用选择性收缩：对杠杆值高或残差大的观测点，根据其对后验均值的影响程度进行加权降低。
• 推理过程采用经验贝叶斯方法，通过最大边缘似然估计超参数，包括自由度和尺度参数。

实验结果

研究问题

• RQ1 基于t过程的回归模型是否能在保持闭式预测分布的同时，对输入空间和输出空间中的异常值均表现出鲁棒性？
• RQ2 在数据受污染条件下，eTPR模型与GPR和LOESS在预测性能方面有何差异？
• RQ3 eTPR模型是否表现出选择性收缩，能有效降低异常值的影响，同时不损害密集区域的拟合效果？
• RQ4 与标准GPR相比，eTPR模型在高维协变量情况下的计算效率如何？
• RQ5 在模型误设条件下，eTPR下的鲁棒BLUP程序是否具有信息一致性且渐近最优？

主要发现

• eTPR模型通过利用扩展t过程的重尾特性，在输入空间和输出空间中均表现出对异常值的鲁棒性，在存在污染的数据中，其预测精度优于GPR和LOESS。
• 该模型为边缘分布和预测分布提供了闭式表达式，实现了无需MCMC或变分推断的高效计算。
• 模拟结果表明，eTPR表现出选择性收缩，显著降低了稀疏输入区域中异常值的影响，同时在密集区域保持了良好的拟合效果。
• 在真实数据应用中，eTPR始终提供比GPR和LOESS更稳定、更准确的预测结果，尤其在存在重尾噪声或高杠杆点时表现更优。
• eTPR下的鲁棒BLUP程序具有信息一致性：随着样本量增加，预测分布会收敛到真实潜在函数，即使在模型误设条件下亦成立。
• 理论分析证实，在弱正则性条件下，eTPR模型在预测中保持渐近最优性，且真实与估计预测分布之间的差异在期望下以o(n)速率递减。