[论文解读] Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks

Giuseppe Marra, Dario Zanca+2 more|arXiv (Cornell University)|Jul 17, 2018

Neural Networks and Applications参考文献 11被引用 3

一句话总结

该论文提出基于核函数的深度神经网络（KBDNNs），通过在正则化优化框架中使用核展开来学习最优神经元激活函数，从而在长序列任务中实现卓越性能。与标准的ReLU或LSTM单元不同，所学习的非线性函数是非单调的，可交替呈现收缩与扩张行为，有效缓解梯度消失问题，并使KBRN能够以高精度捕捉长达200长度的序列中的长期依赖关系。

ABSTRACT

The effectiveness of deep neural architectures has been widely supported in terms of both experimental and foundational principles. There is also clear evidence that the activation function (e.g. the rectifier and the LSTM units) plays a crucial role in the complexity of learning. Based on this remark, this paper discusses an optimal selection of the neuron non-linearity in a functional framework that is inspired from classic regularization arguments. It is shown that the best activation function is represented by a kernel expansion in the training set, that can be effectively approximated over an opportune set of points modeling 1-D clusters. The idea can be naturally extended to recurrent networks, where the expressiveness of kernel-based activation functions turns out to be a crucial ingredient to capture long-term dependencies. We give experimental evidence of this property by a set of challenging experiments, where we compare the results with neural architectures based on state of the art LSTM cells.

研究动机与目标

• 解决循环网络中固定单调激活函数的局限性，该局限性阻碍了长期依赖关系的学习。
• 开发一个统一框架，通过正则化联合优化网络权重与神经元非线性函数。
• 探究基于核函数的激活函数是否能在捕捉序列数据中的长程依赖关系方面优于标准LSTM单元。
• 提供理论与实证证据，证明非单调的、基于核函数的激活函数可改善深层循环架构中的梯度流动。

提出的方法

• 将学习问题表述为对网络权重与函数激活参数的正则化优化，使用训练点上的核展开。
• 将每个神经元的激活函数表示为核展开形式：$ f(x) = \sum_{i=1}^{d} \alpha_i K(x, x_i) $，其中 $ x_i $ 为来自训练集的中心点。
• 采用归一化核表示以确保稳定性和泛化能力，实验中使用 $ d=100 $ 个中心点。
• 使用Adam优化器端到端训练模型，$ \lambda = 0.001 $，同时更新权重与核系数。
• 通过非单调激活函数建模收缩与扩张动力学的组合，将该框架扩展至循环网络。
• 设计基准测试，其中关键信息仅存在于长序列的前几个比特中，以检验模型保留早期信息的能力。

实验结果

研究问题

• RQ1 基于核函数的激活函数是否能在捕捉长期依赖关系方面优于标准的固定非线性函数（如ReLU和Sigmoid）？
• RQ2 基于核函数的激活函数具备非单调性，是否能改善循环网络中的梯度流动并防止梯度消失？
• RQ3 当关键信息仅位于序列开头时，KBDNNs在多大程度上能泛化到长序列？
• RQ4 在序列长度不断增加的序列分类任务中，KBRN相较于最先进LSTM架构的性能如何？

主要发现

• 在所有测试基准中，KBRN在序列长度达150时均取得接近完美的成功率，包括等价（≡）函数，而LSTM在长度超过30后开始失效。
• 对于≡函数，KBRN在全部5次运行中均成功解决了长度为150的序列，但在长度200时失败，表明该设置下存在约150的实用上限。
• KBRN收敛速度显著快于LSTM网络，且随着序列长度增加，平均所需训练迭代次数减少；而LSTM则需要更多迭代次数，且常无法收敛。
• 所学习激活函数的非单调特性使序列处理过程中可同时呈现收缩与扩张行为，从而实现对长程依赖关系的有效反向传播。
• 在全部四个布尔函数（OR、AND、XOR、EQUIVALENCE）上，KBRN在所有测试序列长度下均实现了90%–100%的成功率，而LSTM在序列长度超过30时成功率降至50%以下。
• 结果表明，基于核函数的激活函数在循环架构中提供了比标准固定非线性函数更稳健、更具表现力的归纳偏置。