[论文解读] Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks

Çaǧlar Gülçehre, Kyunghyun Cho+2 more|arXiv (Cornell University)|Nov 7, 2013

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

本文提出 $L_p$ 单元，一种可学习的非线性激活函数，通过在神经元投影上计算归一化的 $L_p$ 范数，推广了最大池化、平均池化和均方根池化等池化操作。通过为每个单元学习最优的 $p$ 值，该模型能高效捕捉复杂且弯曲的决策边界，在包括 MNIST、人脸识别和多音音乐预测在内的多个基准数据集上，于前馈神经网络和循环神经网络中均实现了最先进性能。

ABSTRACT

In this paper we propose and investigate a novel nonlinear unit, called $L_p$ unit, for deep neural networks. The proposed $L_p$ unit receives signals from several projections of a subset of units in the layer below and computes a normalized $L_p$ norm. We notice two interesting interpretations of the $L_p$ unit. First, the proposed unit can be understood as a generalization of a number of conventional pooling operators such as average, root-mean-square and max pooling widely used in, for instance, convolutional neural networks (CNN), HMAX models and neocognitrons. Furthermore, the $L_p$ unit is, to a certain degree, similar to the recently proposed maxout unit (Goodfellow et al., 2013) which achieved the state-of-the-art object recognition results on a number of benchmark datasets. Secondly, we provide a geometrical interpretation of the activation function based on which we argue that the $L_p$ unit is more efficient at representing complex, nonlinear separating boundaries. Each $L_p$ unit defines a superelliptic boundary, with its exact shape defined by the order $p$. We claim that this makes it possible to model arbitrarily shaped, curved boundaries more efficiently by combining a few $L_p$ units of different orders. This insight justifies the need for learning different orders for each unit in the model. We empirically evaluate the proposed $L_p$ units on a number of datasets and show that multilayer perceptrons (MLP) consisting of the $L_p$ units achieve the state-of-the-art results on a number of benchmark datasets. Furthermore, we evaluate the proposed $L_p$ unit on the recently proposed deep recurrent neural networks (RNN).

研究动机与目标

• 为解决深度神经网络中固定池化操作的局限性，提出一种作为非线性激活函数的可学习池化泛化方法。
• 探究学习 $L_p$ 范数的阶 $p$ 是否能提升模型表达能力与泛化性能，相较于固定池化方法。
• 探索 $L_p$ 单元的几何特性及其在建模非线性、弯曲决策边界方面相较于分段线性方法的效率优势。
• 在多种基准任务上评估 $L_p$ 单元在深度前馈网络（MLPs）和深度循环网络（RNNs）中的性能表现。
• 证明最优 $p$ 值在不同数据集和单元间存在差异，从而证明端到端学习 $p$ 的必要性。

提出的方法

• 提出 $L_p$ 单元作为非线性激活函数，通过在低层激活的多个投影上计算归一化的 $L_p$ 范数：$u_j = \left( \frac{1}{K} \sum_{k=1}^K |z_k|^p \right)^{1/p}$，其中 $z_k$ 为输入信号的投影。
• 将池化算子（最大池化、平均池化、均方根池化）视为 $L_p$ 单元在 $p = \infty$、$p = 1$ 和 $p = 2$ 时的特例。
• 提出 $L_p$ 单元的可微分形式，以支持反向传播和 $p$ 参数的端到端训练。
• 采用随机超参数搜索（学习率、调度策略）的随机梯度下降法，在验证集上优化模型性能。
• 在多层感知机（MLPs）和深度循环网络（DOT-RNNs）中应用 $L_p$ 单元，输出层使用 maxout，过渡层使用 $L_p$ 单元。
• 使用 Pylearn2 库进行训练，并在 MNIST、多伦多人脸数据库、Pentomino、Forest Covertype 和音乐预测任务上评估模型。

实验结果

研究问题

• RQ1 在类似池化的激活函数中学习 $L_p$ 范数的阶 $p$，是否能相比固定 $p$ 值，提升深度神经网络的泛化性能？
• RQ2 $L_p$ 单元的几何结构——定义超椭圆边界——如何增强对复杂非线性决策面的建模能力？
• RQ3 $L_p$ 单元在前馈和循环架构中是否优于传统的 ReLU 和 sigmoid 激活函数？
• RQ4 最优 $p$ 值是否具有数据集和层特定性，还是在所有单元中收敛于单一值？
• RQ5 $L_p$ 单元能否有效集成到循环网络中，以提升序列建模性能？

主要发现

• 当 $p = \infty$、$p = 1$ 和 $p = 2$ 时，$L_p$ 单元分别推广了最大池化、平均池化和均方根池化，且在非负输入下与 maxout 单元密切相关。
• 实证结果表明，$L_p$ 单元在前馈网络中于 MNIST、多伦多人脸数据库、Pentomino 和 Forest Covertype 数据集上均实现了最先进性能。
• 在多音音乐预测任务中，基于 $L_p$ 的 DOT-RNN 模型取得了负对数似然分数 2.95（Nottingham）、7.92（JSB）和 6.59（MuseData），优于基于 sigmoid 的 RNN 和先前最佳结果。
• 超参数搜索显示，估计的 $p$ 值在不同数据集和层之间显著变化，其均值在 2.00 到 2.02 之间，标准差约为 $0.24 \times 10^{-4}$ 到 $1.50 \times 10^{-4}$，表明 $p$ 的分布具有非平凡的、可学习的特性。
• 与分段线性替代方案（如 ReLU）相比，$L_p$ 单元能更高效地建模弯曲决策边界，如通过更少的单元即可捕捉非平稳曲率。
• 在 RNN 中，$L_p$ 单元相较于 sigmoid 单元表现出更低的测试对数似然，证实其在序列建模任务中的有效性。