[论文解读] Deep Radial Kernel Networks: Approximating Radially Symmetric Functions with Deep Networks

Brendan McCane, Lech Szymanski|arXiv (Cornell University)|Mar 9, 2017

Gaussian Processes and Bayesian Inference参考文献 7被引用 10

一句话总结

本文提出深度径向核网络（DRKN），一种理论基础扎实的深度架构，通过一种构造性折叠机制高效逼近径向对称函数——特别是高斯核SVM——利用端到端反向传播训练，无需额外超参数调优，显著优于标准RBF网络，并常在基线SVM基础上实现性能提升。

ABSTRACT

We prove that a particular deep network architecture is more efficient at approximating radially symmetric functions than the best known 2 or 3 layer networks. We use this architecture to approximate Gaussian kernel SVMs, and subsequently improve upon them with further training. The architecture and initial weights of the Deep Radial Kernel Network are completely specified by the SVM and therefore sidesteps the problem of empirically choosing an appropriate deep network architecture.

研究动机与目标

• 解决关于为何深度网络在径向对称函数上优于浅层网络的理论空白。
• 通过一种确定性、SVM驱动的构造方法，克服设计深度网络架构的实证困难。
• 提出一种方法，在保持核结构的同时通过可微训练改进高斯核SVM。
• 证明更深的网络可比浅层网络用更少的神经元更高效地逼近径向函数。
• 将深度网络表达能力的理论洞见与核方法及分类任务的实际应用相连接。

提出的方法

• 基于递归空间折叠变换构建深度网络架构，使每层的有效输入体积减半。
• 使用ReLU激活函数实现折叠操作，保持径向对称性并实现对径向函数的高效逼近。
• 利用预训练的高斯核SVM的支持向量和核参数初始化网络，确保与核函数的直接映射。
• 通过折叠ReLU层的组合逼近径向核函数，形成模仿核行为的深度网络。
• 使用反向传播对整个网络进行端到端训练，微调核参数以提升泛化性能，超越原始SVM。
• 将径向基函数（RBF）网络作为对比基线，初始化方式与SVM相同，但所有权重均可训练。

实验结果

研究问题

• RQ1 能否构建一种深度网络架构，可证明地比浅层网络更高效地逼近径向对称函数？
• RQ2 基于SVM参数（支持向量与核宽度）构建的深度网络，是否可通过端到端训练超越原始SVM？
• RQ3 与二层或三层网络相比，更深架构在逼近径向函数方面具有何种理论优势？
• RQ4 折叠机制在多大程度上能通过更少神经元实现对径向函数的高效逼近？
• RQ5 DRKN的性能提升源于权重自适应，还是单纯源于网络结构？

主要发现

• 所提出的DRKN架构在逼近径向对称函数所需的神经元数量上达到了新的上界，优于Eldan与Shamir（2016）提出的三层结构。
• 在8个标准数据集上，DRKN在3个数据集中优于原始SVM，中等程度提升2个，性能持平3个；而可训练RBF网络的表现不优于原始SVM。
• DRKN在covtype数据集上表现出训练异常，可能源于优化噪声，但迅速恢复，对最终性能影响极小。
• 该方法除优化设置外无需额外超参数调优，可作为标准SVM的即插即用替代方案。
• 网络规模可能较大，导致训练较慢，但该方法与可扩展SVM变体（如Core Vector Machine和SimpleSVM）兼容。
• 结果表明，性能提升源于对核结构的可微微调，而非单纯依赖网络深度。