[论文解读] End-to-End Kernel Learning with Supervised Convolutional Kernel Networks

Julien Mairal|arXiv (Cornell University)|May 20, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用 7

一句话总结

该论文提出了一种新型的深度学习框架——监督卷积核网络（SCKNs），通过在再生核希尔伯特空间（RKHS）中端到端地利用反向传播学习数据相关的核函数。通过在每一层优化RKHS中的线性子空间并使用监督损失，SCKNs在图像分类任务中取得了具有竞争力的性能（CIFAR-10错误率为10.20%，SVHN错误率为2.04%），并在图像超分辨率任务中达到最先进水平，优于以往基于CNN的方法。

ABSTRACT

In this paper, we introduce a new image representation based on a multilayer kernel machine. Unlike traditional kernel methods where data representation is decoupled from the prediction task, we learn how to shape the kernel with supervision. We proceed by first proposing improvements of the recently-introduced convolutional kernel networks (CKNs) in the context of unsupervised learning; then, we derive backpropagation rules to take advantage of labeled training data. The resulting model is a new type of convolutional neural network, where optimizing the filters at each layer is equivalent to learning a linear subspace in a reproducing kernel Hilbert space (RKHS). We show that our method achieves reasonably competitive performance for image classification on some standard "deep learning" datasets such as CIFAR-10 and SVHN, and also for image super-resolution, demonstrating the applicability of our approach to a large variety of image-related tasks.

研究动机与目标

• 通过实现数据自适应核函数的端到端学习，弥合传统核方法与深度学习之间的差距。
• 通过在RKHS中联合优化特征子空间，克服传统核方法将表征学习与预测解耦的局限性。
• 证明基于核的模型可在CIFAR-10和SVHN等标准深度学习基准上实现具有竞争力的性能，且无需数据增强或模型平均。
• 通过反向传播和判别子空间学习，将卷积核网络（CKNs）从无监督学习扩展到有监督学习。
• 在多样化的图像任务上验证该框架的性能，包括图像超分辨率，展示其在分类任务之外的泛化能力。

提出的方法

• 提出一种新架构，其中每一层在再生核希尔伯特空间（RKHS）中学习一个线性子空间，该子空间由通过反向传播优化的滤波器参数化。
• 通过引入可微分损失函数，将无监督CKNs适配为有监督学习，该损失函数联合优化分类和回归任务的子空间。
• 使用核近似技术（如随机傅里叶特征）使无限维RKHS表示在计算上变得可行。
• 将反向传播规则应用于核参数，实现整个网络的端到端训练，使用梯度下降优化。
• 采用两阶段流程：先对核子空间进行无监督预训练，再使用标注数据进行微调。
• 在超分辨率任务中，将问题建模为多变量回归，采用9层SCKN，每层128个滤波器，输出头为线性层。

实验结果

研究问题

• RQ1 核方法能否通过联合优化核表示与预测任务，实现端到端学习？
• RQ2 通过反向传播在RKHS中学习线性子空间，能否在标准图像分类基准上实现具有竞争力的性能？
• RQ3 所提出的SCKN框架能否泛化到分类以外的其他图像任务，如图像超分辨率？
• RQ4 在不使用数据增强的情况下，SCKNs与标准CNN在准确率和鲁棒性方面相比如何？
• RQ5 核子空间的无监督预训练能否提升下游有监督任务的性能？

主要发现

• SCKNs在CIFAR-10上达到10.20%的测试错误率，在SVHN上达到2.04%，且无需数据增强或模型平均，表明其在标准基准上的强大性能。
• 在图像超分辨率任务中，SCKNs优于近期基于CNN的方法，在Set5数据集上实现x2超分的37.07 dB PSNR，Kodim数据集上实现x3超分的29.88 dB PSNR。
• 一个两层SCKN（每层16,384个滤波器）在无监督设置下于CIFAR-10上实现14.2%错误率，优于原始CKNs。
• 将滤波器减少至每层128个，CIFAR-10错误率降至11.95%，SVHN错误率降至2.15%，表明对模型复杂度具有鲁棒性。
• SCKN的无监督版本训练速度比原始CKNs快两个数量级，同时准确率更高（CIFAR-10错误率19.3% vs. 21.7%）。
• 该方法在逆问题上泛化良好，SCKN在多个标准数据集上优于最先进的基于CNN的超分辨率模型。