[论文解读] Characterizing Well-Behaved vs. Pathological Deep Neural Networks

Antoine Labatie|arXiv (Cornell University)|Nov 7, 2018

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出了一套新颖的框架，通过分析信号与噪声矩随深度的演化，对初始化时的深度神经网络进行表征。结果表明，前馈网络由于层间乘法组合而产生病态的指数级增长，而批归一化残差网络则通过捷径连接避免了这一问题，转而表现出稳定的幂律增长。

ABSTRACT

We introduce a novel approach, requiring only mild assumptions, for the characterization of deep neural networks at initialization. Our approach applies both to fully-connected and convolutional networks and easily incorporates batch normalization and skip-connections. Our key insight is to consider the evolution with depth of statistical moments of signal and noise, thereby characterizing the presence or absence of pathologies in the hypothesis space encoded by the choice of hyperparameters. We establish: (i) for feedforward networks, with and without batch normalization, the multiplicativity of layer composition inevitably leads to ill-behaved moments and pathologies; (ii) for residual networks with batch normalization, on the other hand, skip-connections induce power-law rather than exponential behaviour, leading to well-behaved moments and no pathology.

研究动机与目标

• 开发一种统一的、假设最少的方法，用于表征各类架构在初始化时的深度神经网络。
• 识别标准前馈网络中病态行为（如梯度消失/爆炸、激活值异常）的根本原因。
• 基于矩分析，解释为何批归一化残差网络尽管深度较大，仍能避免这些病态。
• 提供一个理论框架，无需强假设即可整合卷积层、批归一化和捷径连接。
• 在各类架构之间建立清晰区分：信号与噪声矩增长为指数型（病态）或幂律型（表现良好）

提出的方法

• 分析深度网络在初始化时信号与噪声的统计矩（均值、方差、非中心矩）随深度的演化。
• 采用递归矩传播框架，建模信号与噪声在各层间的演化，将权重与偏置的随机性视为随机变量。
• 将该方法应用于全连接网络与卷积网络，涵盖有无批归一化和捷径连接的情况。
• 引入残差模块的矩分析，表明残差连接可解耦深度带来的乘法效应。
• 推导出矩增长有界（幂律）或无界（指数）的条件，基于激活函数与归一化策略。
• 在无限宽度极限下采用渐近分析，推导出矩增长的确定性边界，从而实现对病态的理论表征。

实验结果

研究问题

• RQ1 深度前馈网络在初始化时出现病态行为的根本原因是什么？能否形式化表征？
• RQ2 为何批归一化残差网络尽管深度与标准深度网络相似，却能避免其病态？
• RQ3 捷径连接与批归一化如何共同影响信号与噪声统计矩的演化？
• RQ4 能否构建一个统一框架，在假设最少的前提下表征各类架构（全连接、卷积、残差）的矩增长？
• RQ5 在何种条件下，深度网络中的矩增长呈现幂律而非指数行为？

主要发现

• 在前馈网络中，层间乘法组合导致信号与噪声矩呈指数级增长，引发梯度消失/爆炸、激活值异常等病态。
• 在无批归一化与捷径连接的情况下，基于ReLU的网络在二阶矩与非中心矩上均呈现指数增长，方差无上界。
• 在批归一化残差网络中，捷径连接打破了乘法链，使矩的增长转为幂律而非指数增长。
• 批归一化与捷径连接的结合确保了信号方差保持有界（例如，μ₂(zˡᴴ) = 1），从而在初始化时稳定了网络的假设空间。
• 理论分析证实，残差网络中的矩增长表现良好且有界，δχˡ 上下均有界，满足幂律行为的条件。
• 该框架无需限制输入数据、激活函数或架构组件，成功表征了病态现象，适用于卷积网络与归一化网络。