[论文解读] Empirical Studies on the Properties of Linear Regions in Deep Neural Networks

Xiao Zhang, Dongrui Wu|arXiv (Cornell University)|Jan 4, 2020

Neural Networks and Applications参考文献 38被引用 21

一句话总结

本文提出一种新颖的实证框架，用于分析深度神经网络（DNNs）中线性区域的几何与结构特性，利用多面体计算研究批量归一化（BN）和丢弃法（dropout）等优化技术如何塑造这些区域。研究发现，即使准确率相近，BN会增加线性区域的数量并提升其均匀性，而dropout则使区域更集中于决策边界附近，并表现出共享的法向方向，凸显了其截然不同的隐式归纳偏置。

ABSTRACT

A deep neural network (DNN) with piecewise linear activations can partition the input space into numerous small linear regions, where different linear functions are fitted. It is believed that the number of these regions represents the expressivity of the DNN. This paper provides a novel and meticulous perspective to look into DNNs: Instead of just counting the number of the linear regions, we study their local properties, such as the inspheres, the directions of the corresponding hyperplanes, the decision boundaries, and the relevance of the surrounding regions. We empirically observed that different optimization techniques lead to completely different linear regions, even though they result in similar classification accuracies. We hope our study can inspire the design of novel optimization techniques, and help discover and analyze the behaviors of DNNs.

研究动机与目标

• 探究不同优化技术（如BN、dropout）如何影响DNN中线性区域的几何与拓扑特性，而不仅限于分类准确率。
• 开发并应用多面体计算工具，分析线性区域的局部结构，包括超平面方向、内切球大小及区域相关性。
• 通过考察其对输入空间划分为线性区域的影响，揭示优化方法引入的隐式归纳偏置。
• 探索线性区域特性与DNN行为（如对抗鲁棒性与梯度动力学）之间的关系。

提出的方法

• 本研究利用多面体计算，通过分析输入空间中激活模式的变化，识别并表征基于ReLU的DNN中的线性区域。
• 对每个测试点，从活跃神经元雅可比矩阵的零空间中采样L2归一化的方向，以探索区域之间的转换。
• 通过小扰动（ε = 0.2）计算沿这些方向的唯一线性区域数量，测量区域数量与空间分布。
• 通过相邻区域梯度向量（决策方向）之间的余弦相似度，量化邻近区域的相关性。
• 该分析应用于在MNIST数据集上使用不同优化技术（原始模型、BN、dropout）训练的模型，共使用1000个测试点，每个点采样100个方向。
• 该方法可实现对超平面法向方向、内切球大小及区域聚类模式（尤其在决策边界附近）的比较。

实验结果

研究问题

• RQ1 不同优化技术（如批量归一化和dropout）如何改变DNN中线性区域的数量、大小及空间分布？
• RQ2 定义线性区域的超平面法向方向与所用优化方法之间存在何种关系？
• RQ3 通过梯度相似性衡量的邻近线性区域相关性，如何影响DNN行为（如对抗鲁棒性或优化稳定性）？
• RQ4 线性区域特性在多大程度上与模型泛化能力或鲁棒性相关，而独立于准确率？

主要发现

• 批量归一化增加了线性区域的数量，并相较于原始网络提升了区域大小的均匀性。
• 丢弃法导致线性区域在决策边界附近更加集中，且许多区域共享相似的法向方向。
• 线性区域内梯度方向与相邻区域高度相关，表明存在强局部线性性，尽管这种相关性随网络深度增加而减弱。
• 批量归一化略微降低了邻近区域之间的梯度相关性，可能有助于缓解梯度破碎问题。
• 采用更小学习率训练的模型会将输入空间划分为更多线性区域，暗示训练动力学与区域复杂性之间存在关联。
• 尽管测试准确率相近，BN与dropout仍生成根本不同的线性区域结构，表明其在模型行为中引入了截然不同的归纳偏置。