[论文解读] Fast Neural Kernel Embeddings for General Activations

In‐Su Han, Amir Zandieh+4 more|arXiv (Cornell University)|Sep 9, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种快速、通用的方法，通过截断的埃尔米特展开，计算任意光滑激活函数的神经网络高斯过程（NNGP）和神经正切核（NTK）矩阵。通过将核函数表达为激活函数的级数展开并应用压缩技术，该方法在保持高精度的同时，相较于精确计算实现了高达106倍的加速，从而实现了在ReLU以外的多种架构和数据集上可扩展的基于核的方法分析。

ABSTRACT

Infinite width limit has shed light on generalization and optimization aspects of deep learning by establishing connections between neural networks and kernel methods. Despite their importance, the utility of these kernel methods was limited in large-scale learning settings due to their (super-)quadratic runtime and memory complexities. Moreover, most prior works on neural kernels have focused on the ReLU activation, mainly due to its popularity but also due to the difficulty of computing such kernels for general activations. In this work, we overcome such difficulties by providing methods to work with general activations. First, we compile and expand the list of activation functions admitting exact dual activation expressions to compute neural kernels. When the exact computation is unknown, we present methods to effectively approximate them. We propose a fast sketching method that approximates any multi-layered Neural Network Gaussian Process (NNGP) kernel and Neural Tangent Kernel (NTK) matrices for a wide range of activation functions, going beyond the commonly analyzed ReLU activation. This is done by showing how to approximate the neural kernels using the truncated Hermite expansion of any desired activation functions. While most prior works require data points on the unit sphere, our methods do not suffer from such limitations and are applicable to any dataset of points in $\mathbb{R}^d$. Furthermore, we provide a subspace embedding for NNGP and NTK matrices with near input-sparsity runtime and near-optimal target dimension which applies to any \emph{homogeneous} dual activation functions with rapidly convergent Taylor expansion. Empirically, with respect to exact convolutional NTK (CNTK) computation, our method achieves $106 imes$ speedup for approximate CNTK of a 5-layer Myrtle network on CIFAR-10 dataset.

研究动机与目标

• 为解决一般激活函数下精确NNGP和NTK计算的计算瓶颈，这些方法此前仅限于ReLU及少数其他激活函数，因为其核表达式难以处理。
• 通过实现任意光滑激活函数的精确与近似神经核计算，将无限宽核理论从ReLU扩展至更广泛范围。
• 开发一种基于压缩的算法，实现在各类通用齐次对偶激活函数下，NNGP和NTK矩阵的近输入稀疏运行时间与近最优目标维度。
• 在真实世界数据集上实证验证该方法，并表明基于核信息的激活函数可提升有限宽度网络的性能。

提出的方法

• 该方法将任意光滑激活函数表示为截断的埃尔米特级数，从而通过展开系数实现对偶核的精确计算。
• 利用超几何函数和特殊函数恒等式，推导出单项式、Gabor和ELU激活函数对偶核的闭式表达式。
• 对于具有未知精确对偶核的一般激活函数，利用埃尔米特展开以可控误差近似核函数。
• 提出一种压缩算法，以接近输入稀疏性的运行时间和接近最优的目标维度，近似完整的NNGP和NTK矩阵。
• 该方法无需数据位于单位球面上，因此可适用于R^d中的任意数据集。
• 该方法利用埃尔米特多项式作为单项式核的随机特征，从而实现高效的核计算。

实验结果

研究问题

• RQ1 我们能否为包括GeLU、正弦和ELU在内的广泛非ReLU激活函数类，精确计算NNGP和NTK核？
• RQ2 在不依赖蒙特卡洛采样或精确递归计算的前提下，如何高效近似一般激活函数的神经核？
• RQ3 我们能否设计一种基于压缩的算法，在多种激活函数下实现接近输入稀疏性的运行时间与接近最优的维度，用于NNGP和NTK矩阵？
• RQ4 基于已知核形式推导出的核信息激活函数，在有限宽度网络中能在多大程度上提升泛化性能？

主要发现

• 该方法在CIFAR-10数据集上对5层Myrtle网络的卷积NTK（CNTK）计算实现了106倍加速，且精度损失可忽略不计。
• 该方法通过埃尔米特级数和特殊函数恒等式，实现了对单项式、Gabor和ELU激活函数的精确对偶核计算。
• 通过反向工程从归一化高斯核导出的新激活函数ABReLU，在5层Myrtle-5网络中于CIFAR-10上实现了最高测试准确率（94.8%），优于ReLU、GeLU、Erf和PReLU。
• 该压缩算法为NNGP和NTK矩阵提供了子空间嵌入，对具有快速收敛泰勒展开的齐次对偶激活函数，实现了接近输入稀疏性的运行时间与接近最优的目标维度。
• 该方法适用于R^d中的任意数据集，且无需将数据归一化至单位球面，与先前工作不同。