[论文解读] Understanding Dropout: Training Multi-Layer Perceptrons with Auxiliary Independent Stochastic Neurons

Kyunghyun Cho|arXiv (Cornell University)|Jun 12, 2013

Neural Networks and Applications参考文献 11被引用 3

一句话总结

该论文提出了一种通用框架，通过在每个隐藏神经元上添加辅助随机神经元来训练多层感知机（MLPs），该方法将丢弃法（dropout）、显式噪声注入和语义哈希统一为特例。该方法支持每层独立的丢弃概率，实证结果表明，调节这些概率可提升泛化性能，最优性能出现在每层概率接近0.5时，而在极端值处性能下降。

ABSTRACT

In this paper, a simple, general method of adding auxiliary stochastic neurons to a multi-layer perceptron is proposed. It is shown that the proposed method is a generalization of recently successful methods of dropout (Hinton et al., 2012), explicit noise injection (Vincent et al., 2010; Bishop, 1995) and semantic hashing (Salakhutdinov & Hinton, 2009). Under the proposed framework, an extension of dropout which allows using separate dropping probabilities for different hidden neurons, or layers, is found to be available. The use of different dropping probabilities for hidden layers separately is empirically investigated.

研究动机与目标

• 将多种正则化技术——丢弃法、显式噪声注入和语义哈希——统一到一个可推广的MLP训练通用框架下。
• 通过允许不同隐藏层或神经元使用不同的丢弃概率，实现灵活的正则化，扩展标准丢弃法方法。
• 提供一种实用且与反向传播兼容的方法，向MLPs中注入随机性，而无需修改学习算法。
• 通过实证研究探究：与标准方法相比，使用每层特定的丢弃概率或在隐藏层注入噪声是否能提升泛化性能。

提出的方法

• 在MLP的每个隐藏神经元上增加一个独立的辅助随机神经元，其激活遵循预定义的概率分布。
• 将每个辅助神经元到其对应隐藏神经元的权重固定为常数（例如，丢弃法中为负无穷大），确保其在训练过程中不被学习。
• 使用标准反向传播进行参数学习，前向传播中采样随机激活值。
• 通过线性化非线性激活函数并将期望算子下推至辅助神经元，实现通过期望输出计算预测。
• 将已知方法作为特例重构：通过伯努利分布的辅助神经元与无穷大权重实现丢弃法；通过正态分布神经元实现噪声注入；通过瓶颈层中的白高斯噪声实现语义哈希。
• 通过独立处理每层的辅助神经元，实现每层独立的丢弃概率，从而实现精细化的正则化。

实验结果

研究问题

• RQ1 能否将丢弃法、显式噪声注入和语义哈希统一到一个用于训练MLPs的单一框架下？
• RQ2 与均匀丢弃法相比，允许不同隐藏层使用不同的丢弃概率是否能提升泛化性能？
• RQ3 在隐藏层而非仅输入层注入白高斯噪声，是否能带来更好的泛化性能？
• RQ4 极端丢弃概率（接近0或1）对模型性能的影响如何，特别是在早期层中？
• RQ5 在不同层注入不同水平的噪声，对MLPs的测试准确率和泛化性能有何影响？

主要发现

• 所提出的框架将丢弃法、显式噪声注入和语义哈希作为特例统一起来，为这些正则化技术提供了统一的视角。
• 为不同隐藏层使用独立的丢弃概率可提升泛化性能，最优性能出现在每层概率接近0.5时。
• 无论第二层的丢弃概率如何，第一隐藏层中极低或极高的丢弃概率（接近0或1）都会显著降低性能。
• 在第一隐藏层注入噪声对泛化有显著积极影响，而在上层（如第二层）注入噪声相比仅在输入层注入噪声，能进一步提升性能。
• 当第二隐藏层的丢弃概率过低时，性能会下降，表明深层的过度正则化会损害学习过程。
• 实证结果表明，通过仔细调节辅助随机神经元——如每层特定的丢弃概率或噪声水平——可获得比标准均匀丢弃法更好的泛化性能。