[论文解读] Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks

Róbert Csordás, Sjoerd van Steenkiste+1 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 60被引用 13

一句话总结

本文提出一种可微分的二值掩码方法，通过训练可隔离特定子任务相关权重的掩码，来识别预训练神经网络中的功能模块。研究发现，尽管标准网络通常会专精于不同功能，却无法重用共享模块，导致非组合性解决方案——这一现象在SCAN等语言任务和图像分类任务中尤为明显，其中类别专属特征占据主导地位。

ABSTRACT

Neural networks (NNs) whose subnetworks implement reusable functions are expected to offer numerous advantages, including compositionality through efficient recombination of functional building blocks, interpretability, preventing catastrophic interference, etc. Understanding if and how NNs are modular could provide insights into how to improve them. Current inspection methods, however, fail to link modules to their functionality. In this paper, we present a novel method based on learning binary weight masks to identify individual weights and subnets responsible for specific functions. Using this powerful tool, we contribute an extensive study of emerging modularity in NNs that covers several standard architectures and datasets. We demonstrate how common NNs fail to reuse submodules and offer new insights into the related issue of systematic generalization on language tasks.

研究动机与目标

• 探究标准神经网络是否会自发发展出功能模块——即实现可重用、特定任务功能的子网络。
• 弥补先前研究中仅通过连接性或激活模式定义模块，而非基于功能角色的缺陷。
• 通过测量不同功能间模块的重用与专精程度，评估新兴模块是否支持组合性。
• 提出一种基于负责特定目标行为的子网络的功能性模块定义。
• 解释为何标准网络难以实现系统性泛化，尤其是在需要组合推理的任务中。

提出的方法

• 在所有网络权重上训练可微分的、概率性的二值掩码，同时保持原始网络权重冻结。
• 使用对应于特定目标功能的辅助任务（例如，分类单个图像类别或语言命令子集）来训练掩码。
• 采用基于梯度的优化方法，学习哪些权重对执行每个目标功能至关重要。
• 通过评估应用掩码隔离特定子网络时的性能变化，来衡量功能模块化程度。
• 将专精度（P_specialize）和重用度（P_reuse）量化为连续指标，基于掩码应用下的性能下降程度。
• 将该方法应用于多种架构：前馈网络、卷积神经网络（CNNs）、循环神经网络（RNNs）、Transformer和ResNets，在图像与语言数据集上进行测试。

实验结果

研究问题

• RQ1 标准神经网络是否会自发发展出与特定子任务相对应的功能模块？
• RQ2 这些模块在多大程度上支持组合性，即通过在相同功能间重用的程度来衡量？
• RQ3 功能模块化与语言和视觉任务中的系统性泛化能力有何关联？
• RQ4 为何标准网络尽管具有理论优势，仍无法学习可重用的模块？
• RQ5 图像分类器中的类别特异性特征是否表明存在功能模块化？它们如何影响泛化能力？

主要发现

• 标准神经网络表现出强烈的专精性（P_specialize），但无法在相同功能间重用同一模块（P_reuse较低），表明缺乏组合性学习。
• 在SCAN数据集上，模型为相似命令结构学习了特定于组合的权重，揭示了非组合性解决方案，导致系统性泛化失败。
• 在图像分类任务中，移除类别专属特征检测器后，简单CNN的性能下降达40–60%，而ResNet-110的性能下降接近100%，表明对类别专属模块的严重依赖。
• 当引入Dropout时，移除类别专属特征导致的性能下降加剧，表明Dropout会增强对这些模块的依赖。
• CIFAR-10中的混淆模式（如飞机与鸟、船的混淆）由共享视觉特征（如背景颜色）驱动，而非共享功能模块。
• 在数学数据集中也观察到相同的非重用行为，证实该问题在真实世界、复杂推理任务中依然存在。