[论文解读] Dropout Rademacher Complexity of Deep Neural Networks

Wei Gao, Zhi‐Hua Zhou|arXiv (Cornell University)|Feb 16, 2014

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文分析了深度神经网络中丢弃法（dropout）的雷姆达赫复杂度，表明尽管在浅层网络中丢弃法仅能实现多项式级别的复杂度降低，但在深层网络中却能实现指数级降低。其核心贡献在于提出了一套理论框架，证明丢弃法可显著抑制深层结构中的模型复杂度，从而解释了其在防止过拟合方面的有效性。

ABSTRACT

Great successes of deep neural networks have been witnessed in various real applications. Many algorithmic and implementation techniques have been developed, however, theoretical understanding of many aspects of deep neural networks is far from clear. A particular interesting issue is the usefulness of dropout, which was motivated from the intuition of preventing complex co-adaptation of feature detectors. In this paper, we study the Rademacher complexity of different types of dropout, and our theoretical results disclose that for shallow neural networks (with one or none hidden layer) dropout is able to reduce the Rademacher complexity in polynomial, whereas for deep neural networks it can amazingly lead to an exponential reduction of the Rademacher complexity.

研究动机与目标

• 从理论上分析丢弃法如何影响深度神经网络的雷姆达赫复杂度。
• 比较三种丢弃法类型（单元丢弃、权重丢弃和联合丢弃）在复杂度降低方面的效果。
• 通过证明雷姆达赫复杂度在深层网络中随丢弃率 ρ 呈指数级变化，建立更紧致的一般化边界。
• 证明复杂度边界依赖于权重范数而非参数总数，从而提供更精细的分析。

提出的方法

• 通过分析随机化网络上经验过程的期望上确界，推导出丢弃法的一般雷姆达赫一般化边界。
• 通过层数的归纳法来界定深层网络的雷姆达赫复杂度，从浅层结构出发。
• 利用激活函数（如 ReLU）的利普希茨连续性，将复杂度边界传播至隐藏层。
• 引入使用随机掩码（r_i）对网络输出进行递归分解，以建模丢弃法，从而实现对期望复杂度的分析。
• 通过权重的 L1 和 L2 范数建立基于范数的边界，将复杂度与参数总数解耦。
• 利用集中不等式和雷姆达赫混沌的性质，对经验过程的期望上确界进行有界。

实验结果

研究问题

• RQ1 在浅层神经网络（零个或一个隐藏层）中，丢弃法如何影响雷姆达赫复杂度？
• RQ2 在具有多个隐藏层的深层神经网络中，丢弃法对雷姆达赫复杂度有何影响？
• RQ3 丢弃法是否能导致雷姆达赫复杂度的指数级降低？如果是，其条件是什么？
• RQ4 在复杂度降低方面，不同类型的丢弃法（单元、权重和联合）有何差异？

主要发现

• 对于浅层神经网络（0 个或 1 个隐藏层），丢弃法使雷姆达赫复杂度呈多项式降低，具体为 O(ρ^{k+1}) 或 O(ρ^{(k+1)/2})，其中 k 为隐藏层数量。
• 在具有 k 个隐藏层的深层神经网络中，丢弃法导致雷姆达赫复杂度呈指数级降低，其边界取决于丢弃类型，分别为 O(ρ^{k+1}) 或 O(ρ^{(k+1)/2})。
• 网络的雷姆达赫复杂度受一个与 L^k * ρ^{(k+1)/2} * B * ∏B_i / √n 成正比的项所限制，其中 L 为利普希茨常数，ρ 为丢弃率，B_i 为权重范数。
• 复杂度边界依赖于权重的 L1 或 L2 范数，而非参数总数，表明丢弃法可独立于模型规模控制复杂度。
• 理论分析证实，丢弃法在降低过拟合方面的作用源于其在深层结构中大幅降低函数类复杂度的能力。
• 研究结果为为何丢弃法在深层网络中特别有效提供了更精细的解释，因为在这些网络中，传统复杂度度量无法捕捉正则化的实际收益。