[论文解读] Convolutional Gaussian Processes

Mark van der Wilk, Carl Edward Rasmussen+1 more|arXiv (Cornell University)|Sep 6, 2017

Gaussian Processes and Bayesian Inference参考文献 14被引用 53

一句话总结

本文引入用于高斯过程的卷积核，利用跨域 inducing 点近似，使图像数据的可扩展、具卷积感知的GP推断成为可能，并通过边际似然在卷积与RBF分量之间自动权衡以优化性能。

ABSTRACT

We present a practical way of introducing convolutional structure into Gaussian processes, making them more suited to high-dimensional inputs like images. The main contribution of our work is the construction of an inter-domain inducing point approximation that is well-tailored to the convolutional kernel. This allows us to gain the generalisation benefit of a convolutional kernel, together with fast but accurate posterior inference. We investigate several variations of the convolutional kernel, and apply it to MNIST and CIFAR-10, which have both been known to be challenging for Gaussian processes. We also show how the marginal likelihood can be used to find an optimal weighting between convolutional and RBF kernels to further improve performance. We hope that this illustration of the usefulness of a marginal likelihood will help automate discovering architectures in larger models.

研究动机与目标

• 将卷积结构引入高斯过程，以在诸如图像之类的高维输入上实现更好的泛化。
• 开发针对卷积核的跨域 inducing 点近似，以实现可扩展的推断。
• 探索卷积核的变体并评估它们在图像数据集上的性能。
• 演示边际似然如何自动权衡卷积成分与RBF成分以优化性能。

提出的方法

• 通过对补丁响应函数 g 施加高斯过程先验，并对补丁响应进行求和以形成 f，构造基于补丁的卷积高斯过程，从而得到卷积核。
• 采用变分稀疏GP框架，带有诱导输入和跨域诱导变量以实现可扩展的推断（ELBO优化）。
• 推导卷积核的跨域协方差，以在补丁空间放置诱导点，降低核评估成本。
• 探索平移不变、加权和多通道的卷积核，并使用带边际似然的联合GP将其与RBF核结合。
• 将核扩展到彩色图像，方法包括颜色补丁和彩色多通道变体；并应用于 MNIST 和 CIFAR-10 数据集。

实验结果

研究问题

• RQ1 是否能够通过跨域诱导点将卷积核嵌入高斯过程，以实现对图像的可扩展、基于补丁的推断？
• RQ2 不同卷积核变体（平移不变、加权、颜色感知）在如 MNIST 和 CIFAR-10 这类标准图像基准上的表现如何？
• RQ3 边际似然是否能够有效平衡卷积结构与非卷积成分（如 RBF），从而提升预测性能？
• RQ4 使用跨域诱导变量与标准诱导点相比，在卷积GP核上有什么权衡？

主要发现

核函数	M	误差 (%)	NLPP
不变	750	2.08	0.077
RBF	750	1.90	0.068
加权	750	1.22	0.048
加权 + RBF	750	1.17	0.039

• 平移不变的卷积GP，采用补丁空间诱导点，在 MNIST 上的表现具有竞争力，且诱导点数量少于 RBF 基线。
• 加权卷积核使 MNIST 误差显著降低至 1.22%（NLPP 0.048），相较之下 RBF 为 1.90%（NLPP 0.068）。
• 加权卷积与 RBF 成分的组合进一步将 MNIST 误差降至 1.17%（NLPP 0.039）。
• 在完整的 MNIST 上，加权卷积核优于平移不变和 RBF 核，混合模型获得最佳 NLPP 和更低误差。
• 在 CIFAR-10 上，多通道卷积核显著优于 RBF，测试误差为 35.4% 对 48.6%（RBF）。
• CIFAR-10 的结果表明卷积结构带来显著增益，尤其是在对颜色交互进行建模时。