[论文解读] Gaussian Process Neurons Learn Stochastic Activation Functions

Sebastian Urban, Marcus Basalla+1 more|arXiv (Cornell University)|Nov 29, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用 4

一句话总结

该论文提出了高斯过程神经元（Gaussian Process Neuron, GPN），一种概率神经单元，通过高斯过程先验学习随机的、非参数化的激活函数，从而实现不确定性感知的预测并具备内在正则化能力。通过变分贝叶斯推断与中心极限定理，该方法推导出一个完全确定性的损失函数，使得能够使用随机梯度下降进行高效训练，同时保持标准神经网络的函数结构。

ABSTRACT

We propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron. Complexity and the risk of overfitting are controlled by placing a Gaussian process prior over these functions. The result is the Gaussian process neuron, a probabilistic unit that can be used as the basic building block for probabilistic graphical models that resemble the structure of neural networks. The proposed model can intrinsically handle uncertainties in its inputs and self-estimate the confidence of its predictions. Using variational Bayesian inference and the central limit theorem, a fully deterministic loss function is derived, allowing it to be trained as efficiently as a conventional neural network using mini-batch gradient descent. The posterior distribution of activation functions is inferred from the training data alongside the weights of the network. The proposed model favorably compares to deep Gaussian processes, both in model complexity and efficiency of inference. It can be directly applied to recurrent or convolutional network structures, allowing its use in audio and image processing tasks. As an preliminary empirical evaluation we present experiments on regression and classification tasks, in which our model achieves performance comparable to or better than a Dropout regularized neural network with a fixed activation function. Experiments are ongoing and results will be added as they become available.

研究动机与目标

• 开发一种神经网络单元，能够从数据中学习其激活函数，而非依赖于固定的手动设计函数。
• 通过概率化建模激活函数，将不确定性量化融入神经网络的预测中。
• 通过在激活函数上施加贝叶斯非参数先验，控制模型复杂度并防止过拟合。
• 利用标准深度学习优化技术，实现此类模型的高效训练。
• 使概率深度学习模型在效率和与标准架构的可集成性方面，与传统神经网络相当。

提出的方法

• 在每个神经元的激活函数上施加具有平方指数协方差函数的高斯过程先验，使其具备非参数性和平滑性。
• 使用变分贝叶斯推断近似激活函数的后验分布，支持端到端训练。
• 利用中心极限定理证明隐藏层激活近似服从正态分布，从而实现对变分目标的确定性近似。
• 通过边际化高斯过程先验并利用蒙特卡洛采样近似后验分布，推导出完全确定性的损失函数，从而支持标准反向传播。
• 引入一种参数化GPN变体，利用诱导点降低计算成本，实现使用小批量梯度下降的高效训练。
• 结合快速Dropout与稀疏变分高斯过程回归的思想，实现非参数GPN的高效、可扩展训练。

实验结果

研究问题

• RQ1 能否通过非参数化、概率化的先验，使神经网络单元直接从数据中学习其激活函数？
• RQ2 此类模型能否天然地处理输入不确定性并估计预测置信度？
• RQ3 能否在不进行梯度蒙特卡洛采样的情况下，使用随机梯度下降高效训练基于非参数GP的激活函数？
• RQ4 GPN的性能与使用固定激活函数（如ReLU或Leaky ReLU）的标准深度网络相比如何？
• RQ5 GPN能否有效集成到CNN和RNN等复杂架构中？

主要发现

• 所提出的GPN模型在小型回归与分类数据集上的性能，与使用Dropout正则化的固定激活函数神经网络相当或更优。
• 通过最大似然训练的参数化GPN变体，在泛化性能上持续优于使用固定激活函数的标准网络，尤其在小样本场景下表现更优。
• 中心极限定理近似使得完全确定性的损失函数得以推导，训练效率与标准反向传播相当。
• 该模型可直接应用于卷积与循环架构，适用于图像与音频处理任务。
• GPN所需的变分参数显著少于深层高斯过程，训练效率更高，同时保持相似的归纳偏置。
• 初步结果表明，由于更强的非线性特性，GPN可能在泛化性能上优于标准网络，尽管在大规模数据集上的进一步实验仍在进行中。