[论文解读] Dissecting Deep Neural Networks

Haakon Robinson, Adil Rasheed+1 more|arXiv (Cornell University)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 29被引用 10

一句话总结

本文提出一种新颖算法，通过利用线性规划和多面体集分析，计算具有ReLU激活函数的全连接神经网络的精确分段仿射（PWA）表示。该方法实现了对网络线性区域的显式可视化与分析，揭示了学习动态中的结构性模式，例如在具有116个区域且预测误差低于10⁻⁴的摆动模型中所展现的特性。

ABSTRACT

In exchange for large quantities of data and processing power, deep neural networks have yielded models that provide state of the art predication capabilities in many fields. However, a lack of strong guarantees on their behaviour have raised concerns over their use in safety-critical applications. A first step to understanding these networks is to develop alternate representations that allow for further analysis. It has been shown that neural networks with piecewise affine activation functions are themselves piecewise affine, with their domains consisting of a vast number of linear regions. So far, the research on this topic has focused on counting the number of linear regions, rather than obtaining explicit piecewise affine representations. This work presents a novel algorithm that can compute the piecewise affine form of any fully connected neural network with rectified linear unit activations.

研究动机与目标

• 为解决尽管深度神经网络在安全关键应用中广泛应用，却缺乏显式、可分析表示的问题。
• 克服将DNN视为黑箱的局限性，实现其精确分段仿射（PWA）结构的推导。
• 促进既有的PWA系统分析工具（如稳定性验证与不变集计算）在基于ReLU的DNN中的应用。
• 证明即使对于高复杂度架构，也可将全连接ReLU网络转换为其精确PWA形式。
• 探索通过简化或正则化PWA表示来减少冗余，从而提升可解释性与分析效率的潜力。

提出的方法

• 该算法通过利用线性规划（LP）技术分析所有层中ReLU激活边界形成的超平面排列，计算PWA表示。
• 采用MATLAB的MPT（多参数工具箱）处理多面体集，并高效计算网络呈仿射性质的凸多面体区域。
• 系统追踪由ReLU单元引起的输入空间划分，识别所有线性区域及其对应的权重与偏置参数。
• 该方法可推广至任意线性/仿射层（包括卷积层与批归一化层），前提是激活函数为分段仿射。
• 算法已实现并行化，以提升计算效率，使在标准硬件上对含最多31,835个线性区域的网络完成转换的时间控制在1分钟以内。
• PWA表示以多面体区域上的曲面图形式可视化，便于观察梯度行为及网络输出中的结构性模式。

实验结果

研究问题

• RQ1 能否利用计算几何与线性规划，将全连接ReLU神经网络精确转换为分段仿射（PWA）表示？
• RQ2 PWA区域的结构如何与训练网络的底层动力学（如阻尼摆模型）相关联？
• RQ3 在将深度神经网络表示为PWA函数后，既有的PWA系统分析技术（如稳定性验证与不变集计算）在多大程度上可被应用？
• RQ4 在输入维度与网络深度方面，推导深度网络精确PWA表示的计算与可扩展性限制是什么？
• RQ5 是否能够识别并简化PWA表示中冗余或高度聚集的线性区域，以提升可解释性与分析效率？

主要发现

• 该算法成功计算出基于ReLU的全连接神经网络的精确PWA形式，最大测试网络包含31,835个线性区域。
• 该方法在近似阻尼摆动模型动力学时，实现了1.615×10⁻⁴的均方根误差（RMSE），表明具有高度预测精度。
• 摆动网络的PWA表示揭示了116个线性区域，其结构具有规律性：水平边界集中于ḋθ=0处，垂直边界形成与真实动力学匹配的正弦图案。
• 网络输出梯度在每个区域内保持局部恒定，且边界结构直接影响输出曲面的斜率与形状。
• 尽管表达能力强，PWA表示中仍存在大量微小冗余区域，增加了稳定性分析的复杂性，提示需要正则化或简化。
• 该算法可在标准台式计算机上实现可扩展性，其并行化版本可在约1分钟内完成含最多四个输入维度与三个隐藏层的网络转换。