[论文解读] Learning the Non-linearity in Convolutional Neural Networks

Gavneet Singh Chadha, Andreas Schwung|arXiv (Cornell University)|May 29, 2019

Neural Networks and Applications参考文献 23被引用 4

一句话总结

该论文提出非线性卷积神经网络（NLCNNs），通过在感受野上应用可学习的指数非线性（由指数权重矩阵EWM实现）来增强特征学习。该方法通过提升模型表征能力并降低优化难度，显著提升了时间序列数据——尤其是像田纳西东部过程这样的非线性系统——的分类性能，端到端训练EWM相比固定或仅依赖数据增强的方法表现更优。

ABSTRACT

We propose the introduction of nonlinear operation into the feature generation process in convolutional neural networks. This nonlinearity can be implemented in various ways. First we discuss the use of nonlinearities in the process of data augmentation to increase the robustness of the neural networks recognition capacity. To this end, we randomly disturb the input data set by applying exponents within a certain numerical range to individual data points of the input space. Second we propose nonlinear convolutional neural networks where we apply the exponential operation to each element of the receptive field. To this end, we define an additional weight matrix of the same dimension as the standard kernel weight matrix. The weights of this matrix then constitute the exponents of the corresponding components of the receptive field. In the basic setting, we keep the weight parameters fixed during training by defining suitable parameters. Alternatively, we make the exponential weight parameters end-to-end trainable using a suitable parameterization. The network architecture is applied to time series analysis data set showing a considerable increase in the classification performance compared to baseline networks.

研究动机与目标

• 为解决标准CNN在建模本质非线性过程（尤其是时间序列分析）时表征能力有限的问题。
• 通过引入随机指数化输入数据点的非线性数据增强方法，提升模型鲁棒性与泛化能力。
• 提出一种新型CNN架构，其包含可端到端训练的指数权重矩阵（EWM），直接在卷积操作中应用非线性变换。
• 评估非线性操作在提升真实世界非线性时间序列数据集（如田纳西东部过程）分类准确率方面的有效性。

提出的方法

• 通过从均匀分布区间[-2, 4]中随机分配指数，对输入数据点进行非线性数据增强，以提升训练过程中的鲁棒性。
• 提出一种非线性卷积操作，其中感受野的每个元素均被提升到由与卷积核同尺寸的附加权重矩阵（EWM）定义的可学习指数上。
• EWM在特征图的所有神经元间共享，可初始化为有意义的模式，或与标准卷积权重一起进行端到端训练。
• 采用一种可微分且可训练的参数化方式，使网络能在反向传播过程中学习最优非线性性。
• 使用标准CNN架构，但对卷积层进行修改，使其在进行线性组合前应用逐元素的指数运算，同时保持计算效率。
• 将该方法应用于田纳西东部过程基准的时间序列分类任务，数据经归一化处理为零均值和单位协方差。

实验结果

研究问题

• RQ1 通过随机指数化实现的非线性数据增强是否能提升CNN在时间序列分类任务中的泛化能力与鲁棒性？
• RQ2 将可学习的指数非线性性直接整合到卷积操作中，是否能增强CNN在非线性系统中的表征能力？
• RQ3 与固定或随机采样的EWM相比，EWM的端到端训练在分类性能上表现如何？
• RQ4 所提出的非线性CNN架构在多大程度上降低了训练过程中的优化挑战（如局部极小值）？
• RQ5 NLCNN框架能否有效应用于真实世界复杂非线性工业过程（如田纳西东部过程）？

主要发现

• 使用随机指数化进行非线性数据增强可提升分类性能，但指数选择不当可能导致性能下降。
• 引入固定EWM矩阵显著增强了模型容量，使卷积层内实现非线性特征变换成为可能。
• 与固定EWM和基线CNN相比，EWM的端到端训练显著提升了分类准确率。
• 所提出的NLCNN架构在田纳西东部过程基准数据集上展现出更强的鲁棒性与泛化能力，该数据集为复杂非线性工业时间序列数据。
• 该方法引入的额外参数极少，实现了高效训练，并在泛化能力上优于其他基于非线性核的方法。
• 初步结果表明，非线性操作使损失曲面更平坦，降低了优化过程中对局部极小值的敏感性。