[论文解读] Improving Deep Neural Networks with Probabilistic Maxout Units

Jost Tobias Springenberg, Martin Riedmiller|arXiv (Cornell University)|Dec 20, 2013

Advanced Neural Network Applications参考文献 11被引用 90

一句话总结

本文提出概率最大池化单元（probout），作为最大池化单元的随机泛化，可在保持最大池化单元优化性能和Dropout正则化优势的同时，提升对输入扰动的不变性。该方法基于Softmax的概率池化机制，在线性特征图上实现，无需数据增强即可在SVHN数据集上达到2.39%的SOTA分类准确率，且在CIFAR-10和CIFAR-100上表现匹配或超越已有结果。

ABSTRACT

We present a probabilistic variant of the recently introduced maxout unit. The success of deep neural networks utilizing maxout can partly be attributed to favorable performance under dropout, when compared to rectified linear units. It however also depends on the fact that each maxout unit performs a pooling operation over a group of linear transformations and is thus partially invariant to changes in its input. Starting from this observation we ask the question: Can the desirable properties of maxout units be preserved while improving their invariance properties ? We argue that our probabilistic maxout (probout) units successfully achieve this balance. We quantitatively verify this claim and report classification performance matching or exceeding the current state of the art on three challenging image classification benchmarks (CIFAR-10, CIFAR-100 and SVHN).

研究动机与目标

• 在不牺牲最大池化单元优化性能和Dropout正则化优势的前提下，提升最大池化单元对输入扰动的不变性，因其仅通过子空间池化实现部分不变性。
• 开发最大池化单元的随机泛化版本，保持分段线性、避免饱和，并保留正激活，同时增强对输入变换的鲁棒性。
• 实现每个单元内k个线性特征映射之间更均衡的梯度流动，提升深层网络中的特征利用效率。
• 在标准图像分类基准上评估所提单元，并证明其性能优于或媲美当前最先进模型。

提出的方法

• 概率最大池化单元用基于Softmax的概率池化机制替代标准最大池化中的确定性最大操作，实现随机激活。
• 每个单元通过Softmax函数在其k个线性变换上计算概率分布，支持在前向与反向传播中进行随机采样。
• 该方法保持分段线性特性，避免饱和，保留最大池化单元的优化优势，同时增强对输入扰动的不变性。
• 反向传播过程中，梯度在所有k个特征映射间更均匀分布，提升学习效率与特征利用。
• 模型使用标准反向传播与交叉熵损失进行训练，并通过多次前向传播的模型平均来近似Dropout集成性能。
• 该方法在CIFAR-10、CIFAR-100和SVHN上进行评估，采用卷积层与全连接层，k=5或k=2的子空间池化。

实验结果

研究问题

• RQ1 最大池化单元的概率泛化是否能在保持优化与正则化优势的同时，提升对输入变换的不变性？
• RQ2 用概率池化机制替代最大操作，是否能改善每个单元内k个线性特征映射之间的梯度流动？
• RQ3 所提出的概率最大池化单元是否能在无需数据增强的标准图像分类基准上实现SOTA性能？
• RQ4 在平移与旋转扰动下，probout网络与maxout网络在特征表示的不变性方面有何差异？

主要发现

• 在SVHN数据集上，概率最大池化模型在无需数据增强的情况下达到2.39%的测试误差，与当前SOTA持平，并优于原始最大池化模型（2.47%）。
• 在CIFAR-10上，模型达到8.48%的测试误差，与最佳报告的最大池化模型性能相当，并优于ReLU+Dropout等基线模型。
• 在CIFAR-100上，模型达到27.68%的测试误差，表现与SOTA相当，显著优于多个强基线模型。
• 特征层面分析显示，probout网络在变换图像与原始图像的特征向量间表现出更小的欧氏距离，表明其对平移与旋转具有更强的不变性。
• 各层平均距离在probout中始终低于maxout，尤其在全连接层中更为明显，表明高层表示具有更强的鲁棒性。
• 概率化形式实现了k个特征映射间更均衡的梯度分布，从而在训练过程中更充分地利用了k维子空间。