[论文解读] Batch-normalized Maxout Network in Network

Jia-Ren Chang, Yong‐Sheng Chen|arXiv (Cornell University)|Nov 9, 2015

Neural Networks and Applications参考文献 24被引用 89

一句话总结

本文提出Maxout Network in Network（MIN）深度学习架构，通过在Network-in-Network框架中用maxout MLP替代标准MLP，增强特征抽象能力和模型判别性。通过集成批量归一化、Dropout和平均池化，MIN有效缓解梯度饱和问题，防止过拟合，并保留空间信息，在MNIST、CIFAR-10和CIFAR-100上取得最先进性能，且在SVHN上也表现出色。

ABSTRACT

This paper reports a novel deep architecture referred to as Maxout network In Network (MIN), which can enhance model discriminability and facilitate the process of information abstraction within the receptive field. The proposed network adopts the framework of the recently developed Network In Network structure, which slides a universal approximator, multilayer perceptron (MLP) with rectifier units, to exact features. Instead of MLP, we employ maxout MLP to learn a variety of piecewise linear activation functions and to mediate the problem of vanishing gradients that can occur when using rectifier units. Moreover, batch normalization is applied to reduce the saturation of maxout units by pre-conditioning the model and dropout is applied to prevent overfitting. Finally, average pooling is used in all pooling layers to regularize maxout MLP in order to facilitate information abstraction in every receptive field while tolerating the change of object position. Because average pooling preserves all features in the local patch, the proposed MIN model can enforce the suppression of irrelevant information during training. Our experiments demonstrated the state-of-the-art classification performance when the MIN model was applied to MNIST, CIFAR-10, and CIFAR-100 datasets and comparable performance for SVHN dataset.

研究动机与目标

• 解决深层网络中梯度消失和饱和问题，特别是针对ReLU单元的局限性。
• 提升早期卷积层中学习特征的判别性和鲁棒性。
• 通过批量归一化和Dropout减少内部协变量偏移并防止过拟合。
• 利用局部感受野中的平均池化提升空间平移容忍度和信息抽象能力。
• 通过保留并区分目标物体与干扰物的特征，实现有效多目标识别。

提出的方法

• 在Network-in-Network中的标准多层感知机（MLP）位置，替换为两层maxout MLP，以学习分段线性激活函数。
• 在每个maxout层之前应用批量归一化，以预处理输入并减少内部协变量偏移。
• 在训练过程中引入Dropout，以防止神经元共适应并减少过拟合。
• 在所有池化层中使用平均池化而非最大池化，以保留所有局部特征并增强对物体位置变化的鲁棒性。
• 在最后一个卷积层后使用全局平均池化，以聚合空间信息并替代全连接层。
• 设计MIN模块作为可重用单元，整合卷积、maxout MLP、批量归一化、Dropout和平均池化，实现分层特征抽象。

实验结果

研究问题

• RQ1 与基于ReLU的MLP相比，maxout MLP是否能提升特征抽象能力并减少深层网络中的梯度饱和？
• RQ2 在所提出的架构中，批量归一化在缓解内部协变量偏移和提升训练稳定性方面有多显著？
• RQ3 在保留相关特征和应对空间变化方面，平均池化与最大池化相比表现如何？
• RQ4 MIN架构是否能有效识别复杂场景中的目标物体与干扰物，如人类视觉系统所观察到的那样？
• RQ5 将maxout MLP与平均池化结合，是否能在MNIST、CIFAR-10、CIFAR-100和SVHN等标准基准数据集上实现最先进性能？

主要发现

• MIN模型在MNIST、CIFAR-10和CIFAR-100数据集上达到最先进分类准确率，优于现有方法（包括NIN和DSN）。
• 在SVHN数据集上，MIN性能与最先进模型相当，展现出对目标数字和干扰物的鲁棒识别能力。
• 特征图可视化显示，与NIN相比，MIN为前景物体和背景区域学习到更具直观性和判别性的表征。
• 模型在SVHN中成功将干扰物识别为次优预测结果，表明其具备有效的类别表征能力与特征竞争机制，与人类视觉处理过程相似。
• 平均池化保留了所有局部特征，实现了对无关信息的更好抑制，提升了泛化能力，尤其在空间变化下表现更优。
• maxout MLP、批量归一化与平均池化的结合显著增强了模型鲁棒性与特征抽象能力，经定性和定量评估得到验证。