[论文解读] Heteroscedastic Gaussian Process Regression on the Alkenone over Sea Surface Temperatures

Taehee Lee, Charles E. Lawrence|arXiv (Cornell University)|Dec 18, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用 14

一句话总结

本文提出了一种异方差高斯过程回归模型，用于基于烯酮的海表温度（SST）校准，该模型考虑了SST值之间非恒定的噪声方差，并通过贝叶斯框架自动分类异常值。与现有模型相比，该方法实现了稳健的非参数推断，具有明确的后验分布，且在真实世界SST代理数据上收敛迅速，实现了准确的异方差性建模和可靠的异常值检测，仅将3%的数据分类为异常值。

ABSTRACT

To restore the historical sea surface temperatures (SSTs) better, it is important to construct a good calibration model for the associated proxies. In this paper, we introduce a new model for alkenone (${ m{U}}_{37}^{ m{K}'}$) based on the heteroscedastic Gaussian process (GP) regression method. Our nonparametric approach not only deals with the variable pattern of noises over SSTs but also contains a Bayesian method of classifying potential outliers.

研究动机与目标

• 开发一种稳健的非参数校准模型，用于基于烯酮的海表温度（SST），以考虑异方差噪声模式。
• 解决现有模型的局限性，例如B样条方法中基函数选择的任意性，以及对噪声非恒定方差处理不佳的问题。
• 在学习过程中整合贝叶斯异常值分类，以提高模型对数据污染的鲁棒性。
• 提供一个完整的概率回归框架，具有明确的后验预测分布，用于SST推断。
• 在低维输入和中等样本量的真实烯酮-SST数据上，展示该模型的有效性。

提出的方法

• 采用异方差高斯过程（GP）回归模型，其中噪声方差是输入SST的函数，通过在方差的对数上建立独立的GP进行建模。
• 采用联合似然和先验结构：观测值在给定输入条件下的分布为正态分布，且方差随输入变化；回归函数为零均值GP，使用平方指数核。
• 引入层次先验结构，包含一个微小的加性噪声项（ξ²I），以确保协方差矩阵的正定性。
• 应用变分贝叶斯推断方法，对潜在函数和超参数进行边缘化，以实现后验计算。
• 采用分类方案，通过估计其为异常值的后验概率，识别并处理异常值。
• 使用重参数化技巧和迭代优化方法，学习超参数，包括核长度尺度和方差参数。

实验结果

研究问题

• RQ1 非参数异方差GP模型是否能在烯酮衍生SST校准中优于参数模型或同方差模型？
• RQ2 贝叶斯异常值分类在GP回归中能否有效集成，以提升古气候代理数据的鲁棒性？
• RQ3 该模型是否能准确捕捉不同温度范围内烯酮-SST观测中非恒定方差结构？
• RQ4 模型的预测不确定性与标准化残差的经验分布之间的一致性程度如何？
• RQ5 该方法是否能在不依赖回归函数信息先验的情况下高效收敛并产生可靠推断？

主要发现

• 模型在约15次迭代内实现收敛，第15次迭代后学习过程趋于稳定，表明优化效率高。
• 在1274个数据点中仅有3%被分类为异常值，主要集中在22–26 °C范围内，表明对极端值具有鲁棒性。
• 内点的标准化残差与标准正态分布高度吻合，Q-Q图（图7）和直方图（图6）均支持该拟合。
• 标准化残差与SST之间的相关性可忽略不计（0.0019），证实异方差性被正确建模，且无系统性偏差残留。
• 推断的均值函数在约23.4 °C处出现曲率变化，与先前研究结果一致，但比以往模型捕捉到了更多敏感性。
• 该模型在包含1274个观测值的真实世界数据上表现优异，实现了准确的异方差噪声建模和可靠的不确定性量化。