[论文解读] Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure

Mikhail Belyaev, Evgeny Burnaev+1 more|arXiv (Cornell University)|Mar 26, 2014

Gaussian Processes and Bayesian Inference参考文献 13被引用 20

一句话总结

本文提出了一种针对大规模因子设计中多维因子的高斯过程回归的新型精确推理方法。通过利用数据的笛卡尔积结构，该方法实现了高效、精确且具备各向异性感知能力的GP回归，时间复杂度为O(N log N)，在真实世界和合成基准测试中，其精度和运行时间均优于FITC等稀疏近似方法。

ABSTRACT

Approximation algorithms are widely used in many engineering problems. To obtain a data set for approximation a factorial design of experiments is often used. In such case the size of the data set can be very large. Therefore, one of the most popular algorithms for approximation - Gaussian Process regression - can be hardly applied due to its computational complexity. In this paper a new approach for Gaussian Process regression in case of factorial design of experiments is proposed. It allows to efficiently compute exact inference and handle large multidimensional data sets. The proposed algorithm provides fast and accurate approximation and also handles anisotropic data.

研究动机与目标

• 解决由因子设计产生的大规模多维数据集在标准高斯过程回归中计算不可行的问题。
• 开发一种精确推理方法，保留大规模训练集中全部信息，而不依赖于稀疏近似。
• 通过引入量身定制的先验分布，处理因子规模差异显著的各向异性数据，防止模型退化。
• 实现高效、可扩展的GP回归，在保持GP模型在高维结构化数据上灵活性和可解释性的同时，实现高效计算。
• 在合成和真实世界工程问题上，证明该方法在精度和运行时间上优于FITC和MARS等现有方法。

提出的方法

• 该方法利用因子设计的笛卡尔积结构，将协方差矩阵分解为较小的、结构化的矩阵的张量积。
• 基于克罗内克积结构，采用协方差矩阵的低秩近似，通过基于FFT的求解器实现高效的Cholesky分解。
• 提出一种新型先验分布，以适应不同因子规模，提升对各向异性的鲁棒性，并防止模型退化。
• 通过快速矩阵运算实现精确推理，达到O(N log N)的时间复杂度和O(N)的内存使用。
• 参数初始化基于因子规模的领域知识，提升在各向异性设置下的收敛性和稳定性。
• 该方法扩展了正则化机制，使其能自适应设计的内在结构，提升泛化能力。

实验结果

研究问题

• RQ1 能否使大规模多维因子设计的精确高斯过程推理在计算上变得可行？
• RQ2 如何利用因子设计的笛卡尔积结构，在不使用近似的情况下加速GP回归？
• RQ3 何种先验分布和初始化策略最能有效处理因子规模差异显著的各向异性数据？
• RQ4 在结构化数据上，该方法与FITC和MARS等稀疏GP近似方法相比，在精度和效率方面表现如何？
• RQ5 该方法能否在包含数万个样本的数据集上保持高预测精度并实现可扩展性？

主要发现

• 所提出的tensorGP-reg算法在一系列测试问题中，其近似精度显著优于FITC和MARS，如对数尺度下的Dolan-Moré曲线所示。
• 在包含14,400个训练点的旋转盘设计问题中，tensorGP-reg生成了平滑且精确的近似结果，而使用500个诱导点的FITC则表现出退化和拟合效果差。
• 该方法实现了O(N log N)的时间复杂度和O(N)的内存使用，使得在标准GP回归不可行的大数据集上实现精确推理成为可能。
• 量身定制的先验分布有效缓解了各向异性数据中的模型退化问题，在高维、采样不均的设计中，其表现优于标准GP公式。
• tensorGP-reg的运行时性能与MARS相当，且优于FITC，Dolan-Moré曲线显示其在精度和速度上均具有一致优势。
• 该算法成功保留了训练集中全部信息，避免了稀疏近似固有的信息损失。