[论文解读] Clustering units in neural networks: upstream vs downstream information

Richard D. Lange, David Rolnick+1 more|arXiv (Cornell University)|Mar 22, 2022

Machine Learning in Materials Science被引用 4

一句话总结

本文提出一种框架，通过基于上游（输入驱动）或下游（输出影响）的功能相似性对隐藏单元进行聚类，以检测神经网络中的功能模块。研究发现，dropout 显著提高了模块化程度，且上游与下游相似性度量产生的聚类在很大程度上不重叠，揭示了输入驱动与输出驱动的神经表征解释之间存在根本性错位。

ABSTRACT

It has been hypothesized that some form of "modular" structure in artificial neural networks should be useful for learning, compositionality, and generalization. However, defining and quantifying modularity remains an open problem. We cast the problem of detecting functional modules into the problem of detecting clusters of similar-functioning units. This begs the question of what makes two units functionally similar. For this, we consider two broad families of methods: those that define similarity based on how units respond to structured variations in inputs ("upstream"), and those based on how variations in hidden unit activations affect outputs ("downstream"). We conduct an empirical study quantifying modularity of hidden layer representations of simple feedforward, fully connected networks, across a range of hyperparameters. For each model, we quantify pairwise associations between hidden units in each layer using a variety of both upstream and downstream measures, then cluster them by maximizing their "modularity score" using established tools from network science. We find two surprising results: first, dropout dramatically increased modularity, while other forms of weight regularization had more modest effects. Second, although we observe that there is usually good agreement about clusters within both upstream methods and downstream methods, there is little agreement about the cluster assignments across these two families of methods. This has important implications for representation-learning, as it suggests that finding modular representations that reflect structure in inputs (e.g. disentanglement) may be a distinct goal from learning modular representations that reflect structure in outputs (e.g. compositionality).

研究动机与目标

• 将神经网络中的功能模块操作化为行为相似的隐藏单元聚类。
• 研究不同功能相似性定义（上游，即输入驱动；下游，即输出影响）对模块检测的影响。
• 评估正则化技术（如 dropout、权重衰减和 L1 惩罚）对模块化的影响。
• 评估上游与下游神经单元相似性定义之间的一致性。
• 挑战关于神经表征可通过输入或输出视角统一解释的假设。

提出的方法

• 使用八种不同的上游与下游度量方法量化隐藏单元之间的成对功能相似性。
• 为每一层构建一个 n×n 的相似性矩阵，其中条目表示单元对之间的功能相似性。
• 应用基于网络科学的聚类算法，以最大化模块化得分 Q*，识别内部相似性高的聚类块。
• 使用成熟的模块化优化工具（如 Louvain 算法）根据相似性矩阵将单元分配至聚类。
• 在 MNIST 上训练超过 250 个全连接前馈网络，以评估超参数下的鲁棒性。
• 比较上游与下游方法的聚类分配，以评估一致性与对齐程度。

实验结果

研究问题

• RQ1 在识别行为相似的隐藏单元聚类方面，上游与下游功能相似性度量有何差异？
• RQ2 与权重衰减或 L1 惩罚等其他正则化技术相比，dropout 在多大程度上提升了模块化？
• RQ3 通过上游相似性度量识别的聚类是否与通过下游相似性度量识别的聚类对齐？
• RQ4 网络的功能模块化是否与下游性能或泛化能力相关？
• RQ5 上游的解耦概念（如特征特定的单元激活）能否与下游预测中的因果作用有意义地对齐？

主要发现

• 与其它正则化方法相比，dropout 显著提高了模块化程度（以 Q* 衡量），表明其通过引入冗余增强了聚类形成。
• dropout 对模块化的主效应源于创建了近似相同的单元副本，这些单元在 dropout 下行为相似，从而提高了功能相似性。
• 上游与下游相似性度量产生的聚类分配在很大程度上不重叠，表明输入驱动与输出驱动的神经功能解释之间存在根本性脱节。
• 尽管上游方法与下游方法内部具有良好的一致性，但两类相似性度量之间的一致性极低。
• 结果表明，解耦表征（上游）与因果有效表征（下游）即使在训练后的网络中也是不同的概念。
• 由于局部极小值以及聚类分配与神经活动之间的反馈作用，训练过程中最大化模块化极具挑战，提示可能需要采用软聚类。