[论文解读] Clusterability in Neural Networks

Daniel Filan, Stephen Casper+4 more|arXiv (Cornell University)|Mar 4, 2021

Neural Networks and Applications参考文献 39被引用 5

一句话总结

本文提出一种基于图论的神经网络聚类可分性度量方法，通过在权重矩阵上应用谱聚类来定义，表明训练后的网络显著比随机或打乱的对应网络更具聚类可分性。该研究证明，通过正则化和初始化可轻微降低准确率地提升聚类可分性，从而实现网络的可解释性模块化分解。

ABSTRACT

The learned weights of a neural network have often been considered devoid of scrutable internal structure. In this paper, however, we look for structure in the form of clusterability: how well a network can be divided into groups of neurons with strong internal connectivity but weak external connectivity. We find that a trained neural network is typically more clusterable than randomly initialized networks, and often clusterable relative to random networks with the same distribution of weights. We also exhibit novel methods to promote clusterability in neural network training, and find that in multi-layer perceptrons they lead to more clusterable networks with little reduction in accuracy. Understanding and controlling the clusterability of neural networks will hopefully render their inner workings more interpretable to engineers by facilitating partitioning into meaningful clusters.

研究动机与目标

• 定义并量化训练后神经网络中的聚类可分性，作为其内部模块性的度量。
• 探究训练后的网络是否表现出超越随机权重分布的结构组织性。
• 开发在不牺牲模型准确率的前提下增强聚类可分性的训练方法。
• 实现神经网络到功能有意义聚类的可解释性分解。
• 评估聚类可分性在不同架构和数据集上的鲁棒性。

提出的方法

• 使用神经元或通道之间的绝对权重值，将神经网络表示为加权无向图。
• 应用谱聚类并以归一化切割（n-cut）度量评估划分质量。
• 将绝对聚类可分性定义为网络实际权重的n-cut得分，将相对聚类可分性定义为与打乱权重排列的比值。
• 引入一种聚类可分性正则化损失，以鼓励低权重的跨簇连接和高权重的簇内连接。
• 在每次梯度更新后实施归一化步骤，以保持权重范数不变，防止聚类可分性优化中的平凡缩放伪影。
• 采用算法初始化方法，从训练开始即促进可聚类的权重结构。

实验结果

研究问题

• RQ1 训练后的神经网络是否比随机初始化或打乱的网络具有更高的聚类可分性？
• RQ2 能否通过架构或训练方式的修改来增强聚类可分性而不降低准确率？
• RQ3 聚类可分性在VGG、ResNet和Inception等不同网络架构上是否一致，尤其是在ImageNet数据集上？
• RQ4 权重剪枝和Dropout对训练模型的相对聚类可分性有何影响？
• RQ5 聚类可分性在多大程度上是学习权重的固有属性，而独立于数据分布或激活模式？

主要发现

• 训练后的多层感知机（MLPs）显著比随机初始化网络更具聚类可分性，其相对聚类可分性通常超过全部50个打乱基线。
• 使用Dropout和权重剪枝训练的MLPs表现出高相对聚类可分性，在100次试验中超过99%的打乱网络。
• 大规模ImageNet模型（VGG、ResNet、Inception）的聚类可分性优于99/100的相同权重分布打乱版本。
• 在CIFAR-10上训练的中型VGG网络，配合Dropout和剪枝，其相对聚类可分性在50次打乱基线中始终表现最优。
• 聚类可分性正则化和可聚类初始化在MLPs中显著提升了模块性，且准确率下降可忽略。
• 所提出的归一化步骤维持了权重范数不变，防止了聚类可分性优化中的平凡缩放伪影。