[论文解读] Deep Kernel Learning via Random Fourier Features

Jiaxuan Xie, Fanghui Liu+2 more|arXiv (Cornell University)|Oct 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 21被引用 11

一句话总结

本文提出RFFNet，一种深度核学习框架，利用随机傅里叶特征（RFF）实现多层核函数的端到端训练，结合核方法的泛化能力与深度网络的表征能力。通过反向传播训练RFF分布参数，RFFNet在小样本、大规模及图像数据集上均取得最先进性能，在低数据量场景下优于经典核方法与深度神经网络。

ABSTRACT

Kernel learning methods are among the most effective learning methods and have been vigorously studied in the past decades. However, when tackling with complicated tasks, classical kernel methods are not flexible or "rich" enough to describe the data and hence could not yield satisfactory performance. In this paper, via Random Fourier Features (RFF), we successfully incorporate the deep architecture into kernel learning, which significantly boosts the flexibility and richness of kernel machines while keeps kernels' advantage of pairwise handling small data. With RFF, we could establish a deep structure and make every kernel in RFF layers could be trained end-to-end. Since RFF with different distributions could represent different kernels, our model has the capability of finding suitable kernels for each layer, which is much more flexible than traditional kernel-based methods where the kernel is pre-selected. This fact also helps yield a more sophisticated kernel cascade connection in the architecture. On small datasets (less than 1000 samples), for which deep learning is generally not suitable due to overfitting, our method achieves superior performance compared to advanced kernel methods. On large-scale datasets, including non-image and image classification tasks, our method also has competitive performance.

研究动机与目标

• 解决浅层核方法在复杂非线性任务中表征能力有限的问题。
• 克服在深度架构中训练核函数的挑战，其中核函数传统上为固定或人工调参。
• 通过随机傅里叶特征实现在多层中端到端学习核参数。
• 通过结合核方法的归纳偏置与深度架构的灵活性，提升小样本数据集上的泛化能力，解决深度学习通常过拟合的问题。
• 开发一种可扩展、可微分的核学习框架，能够自动发现每层的合适核函数。

提出的方法

• RFFNet使用随机傅里叶特征通过随机特征映射 $ \zeta_\omega(\mathbf{u}) = e^{j\omega^T\mathbf{u}} $ 近似平移不变、正定核，其中 $ \omega $ 从与核 $ k $ 相关的分布 $ \rho(k) $ 中抽取。
• RFFNet中的每一层应用基于RFF的核变换，使模型能够通过反向传播学习每层的 $ \rho(k) $ 分布，从而有效训练核结构。
• 该模型堆叠多个RFF层，支持层次化特征学习，并通过深度函数复合实现复杂非线性核的组合。
• 核近似具有可微性，允许使用标准反向传播对RFF参数（如 $ \omega $ 的分布）进行端到端优化。
• 该架构支持小样本与大规模学习，图像实验中使用批量归一化与最大池化层。
• 通过在特征空间中操作，避免显式计算核矩阵，即使在深层结构中也能保持计算效率。

实验结果

研究问题

• RQ1 能否利用随机傅里叶特征构建一个深层、可端到端训练的核网络，从而提升小样本数据集上的泛化性能？
• RQ2 能否在训练过程中学习RFF频率的分布，以自动发现每层的最优核结构？
• RQ3 所提出的深度核模型在小样本、大规模及图像数据集上的性能，与标准核方法和深度神经网络相比如何？
• RQ4 该模型是否能在深度学习通常过拟合的低数据量场景下实现更优性能？
• RQ5 能否通过每层学习核参数，实现优于固定或预选核函数的表征学习？

主要发现

• 在小样本数据集'monks1'上，RFFNet达到100%测试准确率，优于MLP（99.1%）及其他基于核的方法。
• 在'monks2'数据集上，RFFNet的准确率超过次优方法逾10%，展现出在小样本、非线性场景下的强大性能。
• 在'fertility'数据集上，RFFNet达到91.2%准确率，优于MLP，并接近使用更复杂架构（含高斯过程层）的DKL(GP)模型性能。
• 在大规模数据集如'phishing'、'EEG'、'ijcnn1'和'covtype'上，RFFNet实现最先进性能，在其中三个数据集上排名第一。
• 在MNIST上，RFFNet达到99.1%测试准确率；在CIFAR-10上达到84.6%，表明其在图像数据上表现强劲，尽管未针对计算机视觉任务进行专门设计。
• 该模型在各类数据场景下表现稳健，表明端到端训练的RFF核显著增强了表征能力，同时保持了优异的泛化性能。