[论文解读] Deep Neural Networks as Complex Networks

Emanuele La Malfa, Gabriele La Malfa+3 more|arXiv (Cornell University)|Sep 12, 2022

Neural dynamics and brain function被引用 5

一句话总结

本文提出了一种新颖的框架，将深度神经网络（DNNs）建模为有向加权复杂网络，基于复杂网络理论（CNT），实现对权重、神经元和层的多层级分析。作者证明，CNT指标能有效区分不同架构、激活函数和性能水平的网络——尤其揭示了训练前后网络之间的性能差距——提供了一种具有物理基础的、互补的方法，用于解释DNN行为，超越传统的输入-输出分析。

ABSTRACT

Deep Neural Networks are, from a physical perspective, graphs whose `links` and `vertices` iteratively process data and solve tasks sub-optimally. We use Complex Network Theory (CNT) to represents Deep Neural Networks (DNNs) as directed weighted graphs: within this framework, we introduce metrics to study DNNs as dynamical systems, with a granularity that spans from weights to layers, including neurons. CNT discriminates networks that differ in the number of parameters and neurons, the type of hidden layers and activations, and the objective task. We further show that our metrics discriminate low vs. high performing networks. CNT is a comprehensive method to reason about DNNs and a complementary approach to explain a model's behavior that is physically grounded to networks theory and goes beyond the well-studied input-output relation.

研究动机与目标

• 开发一种正式框架，利用复杂网络理论（CNT）将深度神经网络表示为有向加权图，实现多层级分析。
• 识别能够捕捉DNN中权重、神经元和层级别动态行为的CNT指标。
• 评估这些指标是否能够区分不同网络架构、激活函数和性能水平。
• 提供一种具有物理基础的、互补的方法，用于解释DNN，超越传统的输入-输出分析。

提出的方法

• 作者将DNN组件映射为CNT结构：权重作为边，神经元作为节点，层作为结构分组，形成有向加权图。
• 定义并计算专为DNN在不同粒度下设计的新颖CNT指标——神经元强度（Neurons Strength）、神经元激活度（Neurons Activation）和节点输入强度（Nodes Input Strength）。
• 该框架应用于全连接（FC）和自编码器（AE）网络群体，涵盖MNIST和CIFAR10数据集，涉及不同架构、深度、激活函数和训练策略。
• 通过训练过程中的多个快照评估指标，捕捉动态行为，实现对不同网络配置和性能水平的比较。
• 通过在图像分类和信号重建任务中的广泛实验评估验证该方法。
• 发布一个开源、可扩展的软件包，以支持本研究范围之外对所提CNT指标的复现与扩展。

实验结果

研究问题

• RQ1 复杂网络理论指标能否有效区分同一任务下不同架构的DNN（如全连接网络与自编码器）？
• RQ2 在浅层与深层网络中，不同激活函数（如ReLU、Sigmoid、线性）的CNT指标如何变化？
• RQ3 CNT指标能否检测出训练前后网络之间的性能差异，即使准确率较低？
• RQ4 CNT指标是否能揭示图像分类（MNIST）与信号重建（CIFAR10）任务中的特定模式？
• RQ5 CNT指标在不同网络深度和参数量下具有多大程度的泛化能力？

主要发现

• CNT指标能有效区分不同激活函数：ReLU网络的神经元激活度集中在0附近，而Sigmoid网络在浅层呈现双峰分布，深层则趋于均匀分布。
• 神经元强度的分布显著受激活类型影响——线性和ReLU网络的分布支持范围宽广且包含极端值，而Sigmoid网络的支持范围更集中，幅度约小2/3。
• 在MNIST和CIFAR10中，深层网络的CNT指标趋势与对应层位置的浅层网络一致，表明深度间具有结构一致性。
• 训练前后网络间存在性能差距：训练后的网络表现出更稳定、更有结构的CNT指标分布，尤其在节点输入强度上，所有架构在第6层均表现出瓶颈特征。
• 在CIFAR10上的全连接网络中，CNT指标揭示了小（28K参数，准确率38%）、中（450K参数，准确率49%）和大（700万参数，准确率54%）架构间的显著差异，其中节点输入强度在第6层出现明显下降。
• 该框架成功识别出任务特异性动态：在图像分类中，指标反映特征层次结构；在信号重建中，指标捕捉到自编码器特有的信号传播模式。