[论文解读] Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering

Ze Jia Zhang, Karthik Duraisamy+1 more|arXiv (Cornell University)|Nov 6, 2015

Gaussian Processes and Bayesian Inference参考文献 22被引用 7

一句话总结

本文提出多尺度高斯过程回归（MGP），一种基于层次聚类的方法，可显著降低大规模、非均匀分布科学数据集的计算成本并提升精度。通过在多个尺度上使用聚类中心作为诱导点，MGP 在 7D 湍流燃烧数据集上实现 50 倍的加速，误差仅增加 2%，在稀疏和不连续区域的表现优于标准高斯过程回归。

ABSTRACT

Standard Gaussian Process (GP) regression, a powerful machine learning tool, is computationally expensive when it is applied to large datasets, and potentially inaccurate when data points are sparsely distributed in a high-dimensional feature space. To address these challenges, a new multiscale, sparsified GP algorithm is formulated, with the goal of application to large scientific computing datasets. In this approach, the data is partitioned into clusters and the cluster centers are used to define a reduced training set, resulting in an improvement over standard GPs in terms of training and evaluation costs. Further, a hierarchical technique is used to adaptively map the local covariance representation to the underlying sparsity of the feature space, leading to improved prediction accuracy when the data distribution is highly non-uniform. A theoretical investigation of the computational complexity of the algorithm is presented. The efficacy of this method is then demonstrated on smooth and discontinuous analytical functions and on data from a direct numerical simulation of turbulent combustion.

研究动机与目标

• 解决标准高斯过程回归在大规模、高维及非均匀分布科学数据集上计算成本过高且精度较差的问题。
• 在特征空间中数据分布稀疏的场景下，降低训练与评估的复杂度，同时保持预测精度。
• 开发一种可扩展的高斯过程方法，适用于科学计算工作流中频繁的评估任务，如实时模拟求解器。
• 通过多尺度聚类自适应调整局部协方差表示，提升在高稀疏性或不连续区域的预测精度。
• 实现在直接数值模拟（如湍流燃烧）生成的海量数据集上的高效、高精度回归。

提出的方法

• 该方法利用层次聚类将输入数据划分为簇，并使用簇中心作为稀疏高斯过程回归的诱导点。
• 通过在不同粒度层级上应用聚类，引入多尺度表示，实现对局部数据稀疏性的自适应建模。
• 通过以簇中心为基准的多尺度基函数重新定义协方差结构，降低有效训练点数量。
• 采用改进的似然优化方法调节超参数，并通过基于簇的初始化策略提升收敛性能。
• 预测过程基于一组精简的诱导点进行，计算复杂度与簇的数量成正比，而非与完整训练数据规模成正比。
• 该方法支持每个簇的可变相关长度，从而更优地建模非平稳及不连续函数。

实验结果

研究问题

• RQ1 对数据点进行层次聚类是否能提升高斯过程回归在大规模、非均匀分布数据集上的效率与精度？
• RQ2 通过簇聚类诱导点实现的多尺度表示，如何影响在数据稀疏或不连续区域的预测性能？
• RQ3 在科学计算应用中，计算复杂度可降低到何种程度而不造成显著的预测精度损失？
• RQ4 在高维真实世界模拟数据上，MGP 方法与标准高斯过程相比，在评估速度和误差方面表现如何？
• RQ5 该方法能否有效应用于湍流燃烧模拟中出现的复杂、不连续函数？

主要发现

• 在平滑解析函数上，MGP 相较于标准高斯过程实现了至少 10 倍的加速，同时保持相近的精度。
• 对于不连续函数，MGP 在低数据密度区域的拟合效果显著优于标准高斯过程。
• 在包含 300 万个训练点的 7D 湍流燃烧数据集上，MGP 将评估时间从 42 秒减少至 0.8 秒，加速了 50 倍，相对误差仅增加 2%。
• MGP 的相对误差为 0.1105，而标准高斯过程为 0.1087，表明在实现巨大加速的同时，精度损失极小。
• 火焰通量的等高线图与线图显示，MGP 捕捉了火焰的关键物理特征，其表现与标准高斯过程相当，优于解析模型。
• 该方法在处理非均匀数据分布方面表现出鲁棒性，尤其在科学模拟中常见的高维特征空间中。