[论文解读] Detecting Modularity in Deep Neural Networks.

Shlomi Hod, Stephen Casper+4 more|arXiv (Cornell University)|Oct 17, 2021

Neural Networks and Applications参考文献 35被引用 5

一句话总结

本文提出一种框架，通过统计分析基于权重和激活的图表示，量化神经元组的重要性与一致性，以检测深度神经网络中的模块性。对这些图进行谱聚类，可揭示出在功能上重要且对输入特征具有稳定响应的神经元划分，即使在没有运行时数据的情况下，也显示出固有的模块性。

ABSTRACT

A neural network is modular to the extent that parts of its computational graph (i.e. structure) can be represented as performing some comprehensible subtask relevant to the overall task (i.e. functionality). Are modern deep neural networks modular? How can this be quantified? In this paper, we consider the problem of assessing the modularity exhibited by a partitioning of a network's neurons. We propose two proxies for this: importance, which reflects how crucial sets of neurons are to network performance; and coherence, which reflects how consistently their neurons associate with features of the inputs. To measure these proxies, we develop a set of statistical methods based on techniques conventionally used to interpret individual neurons. We apply the proxies to partitionings generated by spectrally clustering a graph representation of the network's neurons with edges determined either by network weights or correlations of activations. We show that these partitionings, even ones based only on weights (i.e. strictly from non-runtime analysis), reveal groups of neurons that are important and coherent. These results suggest that graph-based partitioning can reveal modularity and help us understand how deep neural networks function.

研究动机与目标

• 确定现代深度神经网络在其内部结构中是否表现出模块性。
• 通过评估神经元组对输入特征的关键性和响应一致性，量化其模块性。
• 开发一种非运行时分析方法，以识别神经网络架构中的有意义子任务。
• 评估基于权重或激活相关性的神经元图划分是否能揭示功能上一致且重要的神经元组。

提出的方法

• 构建一个神经元计算图，其中边由网络权重或激活相关性定义。
• 应用谱聚类，根据结构相似性将图划分为神经元组。
• 使用源自单个神经元解释方法的统计技术，度量每个神经元组的重要性。
• 通过评估组内神经元对特定输入特征的一致响应，评估其一致性。
• 使用非运行时分析（仅权重）评估模块性，实现在无需推理数据的情况下进行解释。
• 结合重要性和一致性度量，识别出执行可解释子任务的神经元组。

实验结果

研究问题

• RQ1 现代深度神经网络在其内部结构中在多大程度上表现出模块性？
• RQ2 是否可以仅使用非运行时信息（如网络权重）检测到模块性？
• RQ3 通过图划分识别出的神经元组是否表现出功能一致性和重要性？
• RQ4 基于权重和基于激活的图表示在揭示模块性方面有何比较差异？

主要发现

• 通过权重图谱聚类识别出的神经元组对整体网络性能具有显著重要性。
• 这些神经元组表现出高度一致性，表明其在样本间对特定输入特征具有稳定的关联性。
• 即使没有激活数据，基于权重的划分也能揭示出功能上有意义且一致的神经元簇。
• 重要性与一致性的结合可识别出可解释且与整体网络目标相关的子任务。