[论文解读] Ablation Studies in Artificial Neural Networks

Richard Meyes, Melanie Lu+2 more|arXiv (Cornell University)|Jan 24, 2019

Neural Networks and Applications参考文献 43被引用 168

一句话总结

本论文在 MNIST 上的浅层 MLP 与在 ImageNet 上的 VGG-19 CNN 进行了单元与成对单元消融，以研究知识表示、冗余、层/类特定效应以及损伤后的恢复训练。

ABSTRACT

Ablation studies have been widely used in the field of neuroscience to tackle complex biological systems such as the extensively studied Drosophila central nervous system, the vertebrate brain and more interestingly and most delicately, the human brain. In the past, these kinds of studies were utilized to uncover structure and organization in the brain, i.e. a mapping of features inherent to external stimuli onto different areas of the neocortex. considering the growth in size and complexity of state-of-the-art artificial neural networks (ANNs) and the corresponding growth in complexity of the tasks that are tackled by these networks, the question arises whether ablation studies may be used to investigate these networks for a similar organization of their inner representations. In this paper, we address this question and performed two ablation studies in two fundamentally different ANNs to investigate their inner representations of two well-known benchmark datasets from the computer vision domain. We found that features distinct to the local and global structure of the data are selectively represented in specific parts of the network. Furthermore, some of these representations are redundant, awarding the network a certain robustness to structural damages. We further determined the importance of specific parts of the network for the classification task solely based on the weight structure of single units. Finally, we examined the ability of damaged networks to recover from the consequences of ablations by means of recovery training. We argue that ablations studies are a feasible method to investigate knowledge representations in ANNs and are especially helpful to examine a networks robustness to structural damages, a feature of ANNs that will become increasingly important for future safety-critical applications.

研究动机与目标

• 激发使用神经科学启发的消融方法，以理解现代人工神经网络中的知识表示。
• 检查消融如何影响浅层 MLP 的整体性能和类别特异性性能，以及深层 CNN 的表现。
• 研究网络不同部分和层之间表示的冗余性与局部化。
• 评估网络在损伤后通过恢复训练恢复性能的能力。

提出的方法

• 通过将单个单位的输入权重置为零，在一个两隐藏层的 MLP（在 MNIST 上训练）中执行单单元消融。
• 在 MLP 中执行成对消融，以评估冗余性和组合效应。
• 对在 ImageNet 上预训练的 VGG-19 的卷积滤波器应用分组消融（1%、5%、10%、25%），使用基于相似性的分组。
• 使用 ImageNet 验证集的 top-1 和 top-5 准确率来评估影响。
• 使用 t-SNE 将消融后的数据结构表示进行可视化，以评估表示。
• 通过固定较高层并对受损网络重新训练来进行恢复训练，以衡量性能的恢复。

实验结果

研究问题

• RQ1 消融是否揭示了神经网络中的局部化表示与分布式表示，类似于神经科学的发现？
• RQ2 单单元与成对消融如何影响浅层与深层架构的整体性能和类别特异性性能？
• RQ3 是否有某些层或某些类别对消融更脆弱或更鲁棒？
• RQ4 受损网络是否能通过有针对性的恢复训练恢复性能，程度如何？
• RQ5 是否存在对消融具有缓冲作用的冗余性，以及对某些类别具有选择性表示的证据？

主要发现

• 在 MLP 中的单单元消融会导致整体准确率大幅下降（例如高达 44.5 个百分点），但可能提升某些类别的类别特异性准确率。
• 一些单元具有普遍重要性，而另一些对特定类别具有选择性重要性；影响与训练后进入权重分布的变化相关。
• 成对消融的效应可能优于单个消融之和，表明存在冗余，但也存在单位之间潜在的独特相互作用。
• 在 VGG-19 中，消融效应取决于层，较大部分被消融通常导致更大的准确率下降；某些层对特定类别更关键。
• 在某些层进行消融可能出乎意料地提高某些类别的表现，表明表示的复杂再分布。
• 恢复训练在很大程度上可以在消融后恢复性能，有时即使一个层中大约 80% 的滤波器被消融，仍能恢复到接近原始水平。