[论文解读] GPatt: Fast Multidimensional Pattern Extrapolation with Gaussian Processes

Andrew Gordon Wilson, Elad Gilboa+2 more|arXiv (Cornell University)|Oct 20, 2013

Gaussian Processes and Bayesian Inference参考文献 27被引用 12

一句话总结

GPatt 是一种可扩展的精确推理框架，用于高斯过程，可在无需人工核工程或复杂初始化的情况下，对大规模数据集实现自动的多维模式外推、图像修复和核函数发现。它在计算速度和精度上达到当前最先进水平，在包含最多 383,400 个训练点的问题上，优于现有的可扩展高斯过程方法，通过利用结构化核函数，将计算复杂度降低至 O(PN^{(P+1)/P})。

ABSTRACT

Gaussian processes are typically used for smoothing and interpolation on small datasets. We introduce a new Bayesian nonparametric framework -- GPatt -- enabling automatic pattern extrapolation with Gaussian processes on large multidimensional datasets. GPatt unifies and extends highly expressive kernels and fast exact inference techniques. Without human intervention -- no hand crafting of kernel features, and no sophisticated initialisation procedures -- we show that GPatt can solve large scale pattern extrapolation, inpainting, and kernel discovery problems, including a problem with 383400 training points. We find that GPatt significantly outperforms popular alternative scalable Gaussian process methods in speed and accuracy. Moreover, we discover profound differences between each of these methods, suggesting expressive kernels, nonparametric representations, and exact inference are useful for modelling large scale multidimensional patterns.

研究动机与目标

• 开发一种可扩展的精确推理框架，用于高斯过程，能够在不简化近似的情况下处理大规模多维数据集。
• 实现在大规模数据中无需人工干预或手工设计核特征的自动模式发现与外推。
• 将表达能力强、可解释的核函数与快速精确推理技术统一，以提升模式学习中的可扩展性与准确性。
• 证明表达性强的核函数与精确推理对于建模复杂、大规模多维模式至关重要。

提出的方法

• GPatt 引入了一类新型结构化、可解释的核函数，源自 Wilson & Adams (2013) 的近期工作，专为多维输入和高效推理而设计。
• 它采用利用核函数代数结构的快速精确推理技术，将计算成本降低至 O(PN^{(P+1)/P})，存储成本降低至 O(PN^{2/P})，其中 P 为输入维度数，N 为数据点数。
• 该方法结合使用乘积核与求和核，包括平方指数核、周期核、有理二次核和 Matérn 核，以建模复杂的协方差结构。
• 它通过严谨的贝叶斯框架实现核超参数与模式外推的端到端学习，无需依赖初始化启发式方法。
• 该框架支持回归与核函数发现任务，可从数据中自动推断潜在的核结构。
• 它采用掩码与通道独立回归方法实现图像修复，通过基于周围模式预测缺失区域的值来恢复图像。

实验结果

研究问题

• RQ1 高斯过程能否在不使用近似或人工核设计的情况下，扩展应用于大规模多维数据集的自动模式外推？
• RQ2 表达性强、结构化的核函数与精确推理相结合，相较于标准可扩展高斯过程方法，在大规模模式学习任务中的性能提升程度如何？
• RQ3 在无先验知识的前提下，GPatt 能在多大程度上仅从数据中发现复杂复合核结构（如乘积与求和组合）？
• RQ4 在真实世界中的模式外推与图像修复任务中，GPatt 与现有可扩展高斯过程方法相比，在速度与准确性方面表现如何？
• RQ5 内蕴偏差（inductive biases）编码在核函数中，在实现对大范围缺失区域的准确外推中起到何种作用？

主要发现

• GPatt 在包含 112,500 个训练点的 3D 电影数据集中，成功在外推大范围缺失区域时重建了复杂的产品核结构，耗时不足 10 分钟。
• 该框架在一幅污渍壁纸图像（每通道 15,047 个像素）和一幅带有屋顶遮挡的自然场景图像（每通道 32,269 个像素）上实现了高精度图像修复，成功恢复了如海浪等细微细节。
• GPatt-20 在合成 3D 模式中以高保真度重建了真实生成核函数，如图 4 所示，证明了其有效的核函数发现能力。
• 该方法在速度与准确性上均优于主流可扩展高斯过程方法，尤其在复杂、高维模式外推任务中表现突出。
• GPatt 实现了精确推理，计算复杂度为 O(PN^{(P+1)/P})，显著降低了标准 Cholesky 分解的 O(N³) 成本。
• 结果揭示了不同 GP 方法之间的显著差异，凸显了表达性强核函数与精确推理在建模大规模多维模式中的重要性。