[论文解读] Maxout Networks

Ian Goodfellow, David Warde-Farley+3 more|arXiv (Cornell University)|Feb 18, 2013

Opportunistic and Delay-Tolerant Networks被引用 7

一句话总结

本文提出Maxout网络，一种深度学习架构，采用一种新颖的激活函数——maxout，旨在通过改进模型平均和优化来增强dropout训练。Maxout单元通过计算多个线性变换的最大值，实现更优的梯度流动和参数更有效的利用，从而在MNIST、CIFAR-10、CIFAR-100和SVHN上取得最先进性能。

ABSTRACT

We consider the problem of designing models to leverage a recently introduced approximate model averaging technique called dropout. We define a simple new model called maxout (so named because its output is the max of a set of inputs, and because it is a natural companion to dropout) designed to both facilitate optimization by dropout and improve the accuracy of dropout's fast approximate model averaging technique. We empirically verify that the model successfully accomplishes both of these tasks. We use maxout and dropout to demonstrate state of the art classification performance on four benchmark datasets: MNIST, CIFAR-10, CIFAR-100, and SVHN.

研究动机与目标

• 设计一种神经网络架构，明确增强dropout作为模型平均技术的性能。
• 解决ReLU单元在dropout下存在的局限性，如神经元死亡和梯度流动不良。
• 通过确保所有单元保持一致的梯度流动，改进深层网络的优化动力学。
• 通过实证验证，maxout能更准确地逼近dropout下的集成平均。
• 展示在多个基准数据集上，结合maxout与dropout可实现最先进分类准确率。

提出的方法

• Maxout引入一种新型激活函数，计算输入的k个线性变换的最大值：$ h_i(x) = \max_{j \in [1,k]} (x^T W_{ij} + b_{ij}) $。
• 该模型在每个神经元中对多个线性单元共享参数，使网络在训练过程中能同时学习权重和激活函数。
• 在dropout训练中，dropout掩码在max操作前应用，确保maxout单元始终接收输入，且梯度始终能够流动，无论哪些单元被丢弃。
• 该架构兼容全连接网络与卷积网络，其中maxout在特征图上应用（通道维度池化）。
• 该方法能更准确地逼近几何平均模型平均，因为使用半权重的完整模型输出可近似于集成平均。
• 该设计确保所有滤波器在训练期间均被积极使用，避免了ReLU网络在dropout下常见的饱和与剪枝问题。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，以更好地利用dropout的模型平均特性？
• RQ2 与ReLU或tanh单元相比，maxout是否能在dropout下改善优化动力学？
• RQ3 在dropout下，maxout在深层网络中能将未使用滤波器的数量减少到何种程度？
• RQ4 在低层中，maxout与ReLU网络在不同dropout掩码下的梯度方差有何差异？
• RQ5 maxout能否实现更深网络的训练，并在泛化性能上优于标准激活函数？

主要发现

• Maxout网络在MNIST、CIFAR-10、CIFAR-100和SVHN上均取得最先进性能，优于先前使用ReLU和tanh的方法。
• 在相同训练条件下，Maxout在第二隐藏层中使用了99.9%的滤波器（2400个滤波器中仅2个未使用），而ReLU网络中未使用的滤波器比例高达39.2%。
• 在dropout下，饱和于零的单元比例从SGD中的不足5%上升至ReLU网络的60%，而maxout单元在整个训练过程中始终保持活跃且可训练。
• 与ReLU相比，maxout在第一层权重上的梯度方差高出3.4倍，表明其能更有效地传播与掩码相关的梯度信号。
• maxout在输出权重上的梯度方差比ReLU高出1.4倍，表明其具有更有效的模型平均行为。
• maxout单元在正负激活之间切换的频率几乎相等，而ReLU单元则容易变为非激活状态且极少恢复，从而损害优化。