[论文解读] Deep Gaussian Processes with Convolutional Kernels

Vinayak Kumar, Vaibhav Singh+2 more|arXiv (Cornell University)|Jun 5, 2018

Gaussian Processes and Bayesian Inference参考文献 22被引用 24

一句话总结

该论文提出卷积深度高斯过程（CDGP），一种贝叶斯非参数模型，通过将卷积核整合到深度高斯过程中，以捕捉图像中的空间层次结构。通过用卷积核替代标准RBF核，CDGP在MNIST、CIFAR10和Caltech101等图像分类基准上实现了最先进性能，相较于标准DGP基线模型准确率提升10%，并通过随机图像块子采样实现10倍加速。

ABSTRACT

Deep Gaussian processes (DGPs) provide a Bayesian non-parametric alternative to standard parametric deep learning models. A DGP is formed by stacking multiple GPs resulting in a well-regularized composition of functions. The Bayesian framework that equips the model with attractive properties, such as implicit capacity control and predictive uncertainty, makes it at the same time challenging to combine with a convolutional structure. This has hindered the application of DGPs in computer vision tasks, an area where deep parametric models (i.e. CNNs) have made breakthroughs. Standard kernels used in DGPs such as radial basis functions (RBFs) are insufficient for handling pixel variability in raw images. In this paper, we build on the recent convolutional GP to develop Convolutional DGP (CDGP) models which effectively capture image level features through the use of convolution kernels, therefore opening up the way for applying DGPs to computer vision tasks. Our model learns local spatial influence and outperforms strong GP based baselines on multi-class image classification. We also consider various constructions of convolution kernel over the image patches, analyze the computational trade-offs and provide an efficient framework for convolutional DGP models. The experimental results on image data such as MNIST, rectangles-image, CIFAR10 and Caltech101 demonstrate the effectiveness of the proposed approaches.

研究动机与目标

• 通过用卷积核替代RBF核，解决标准深度高斯过程（DGPs）在计算机视觉任务中的局限性，以更好地建模图像级空间结构。
• 克服RBF核对图像变换（如平移、光照和姿态变化）的差的不变性。
• 构建一个完全非参数化的层次化模型，通过堆叠卷积核学习判别性特征，同时保持贝叶斯不确定性估计。
• 通过随机采样图像块减少卷积核计算的计算成本，实现高效训练，且准确率损失可忽略。
• 在多个基准数据集上验证CDGP的有效性，表明其相比浅层GP和标准DGP模型具有更优的泛化能力。

提出的方法

• 将此前用于单层高斯过程的卷积核整合到深度高斯过程框架中，实现在多层之间的层次化特征学习。
• 使用加权卷积核以增强特征判别能力，提升模型容量。
• 通过在不同层组合卷积核与RBF核，构建混合DGP架构，探索最优不变性与表征深度的平衡。
• 采用变分推断结合双重随机化方法以实现模型扩展，使用小批量数据和随机梯度下降进行优化。
• 在核计算过程中实施图像块的随机子采样，以降低计算成本，同时保持高准确率且精度下降极小。
• 使用ADAM优化器进行200个周期的训练，小批量大小为40，运行于GPU上，实现大规模图像数据集的高效训练。

实验结果

研究问题

• RQ1 卷积核能否被有效整合到深度高斯过程中，以在图像分类任务上相比基于RBF核的标准DGP模型提升性能？
• RQ2 与RBF核相比，卷积核在图像变换（如平移和光照变化）下的不变性增强效果如何？
• RQ3 在卷积核计算中，使用完整图像块与子采样图像块之间的计算权衡是什么？子采样是否能在显著降低训练时间的同时保持高准确率？
• RQ4 在DGP架构中堆叠更多卷积核与RBF核是否能提升性能，还是浅层结构已足够实现高准确率？
• RQ5 与现有基于GP的模型及CNN-GP混合模型相比，所提出的CDGP模型在标准图像基准上的性能与效率如何？

主要发现

• CDGP模型通过利用卷积核，在CIFAR10数据集上相较标准DGP模型实现了10%的性能提升，证明其在捕捉图像级特征方面的有效性。
• 图像块的随机子采样使训练时间减少约10倍——CDGP1模型仅需1小时15分钟，且在Caltech101数据集上测试准确率仅下降0.39%。
• 表现最佳的CDGP模型（CDGP1，使用全部图像块）在Caltech101数据集上达到20.39%的测试准确率，优于标准DGP和浅层GP基线模型。
• 更深的CDGP架构（如3层）未带来显著性能增益，表明单层卷积核（等价于CGP）已具备足够模型容量用于分类任务。
• 模型性能对图像分辨率敏感；因图像被重采样至50×50×3，准确率下降，提示未来工作应保留原始图像尺寸。
• 所提出的框架通过子采样带来的计算增益，使更高小批量大小成为可能，从而有效降低随机梯度的方差，实现高效训练。