[论文解读] Towards Understanding Learning Representations: To What Extent Do Different Neural Networks Learn the Same Representation

Liwei Wang, Lunjia Hu+5 more|arXiv (Cornell University)|Oct 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 4被引用 33

一句话总结

本文提出了一套严格的子空间匹配框架，用于量化由不同随机初始化训练的两台相同深度神经网络所学习表征之间的相似性。通过激活向量以及最大匹配与简单匹配的分解理论，该方法揭示卷积层表现出出人意料的低表征相似性，挑战了网络在不同训练运行中学习等价特征的假设。

ABSTRACT

It is widely believed that learning good representations is one of the main reasons for the success of deep neural networks. Although highly intuitive, there is a lack of theory and systematic approach quantitatively characterizing what representations do deep neural networks learn. In this work, we move a tiny step towards a theory and better understanding of the representations. Specifically, we study a simpler problem: How similar are the representations learned by two networks with identical architecture but trained from different initializations. We develop a rigorous theory based on the neuron activation subspace match model. The theory gives a complete characterization of the structure of neuron activation subspace matches, where the core concepts are maximum match and simple match which describe the overall and the finest similarity between sets of neurons in two networks respectively. We also propose efficient algorithms to find the maximum match and simple matches. Finally, we conduct extensive experiments using our algorithms. Experimental results suggest that, surprisingly, representations learned by the same convolutional layers of networks trained from different initializations are not as similar as prevalently expected, at least in terms of subspace match.

研究动机与目标

• 开发一种系统化、理论驱动的方法，用于量化深度神经网络中的表征相似性。
• 探究具有相同架构但不同初始化的网络是否学习到相似的中间表征。
• 表征相似性的结构粒度特征——是局部的（神经元对神经元）还是分布式的（聚类级别）？
• 确定子空间匹配是否可作为深度网络中表征相似性的有效度量。

提出的方法

• 使用固定输入集上的激活向量来表征神经元，捕捉输入-输出行为。
• 通过神经元集合之间的子空间匹配来定义表征相似性，其中子空间由激活向量张成。
• 引入“最大匹配”概念以捕捉整体相似性，以及“简单匹配”作为不可约的最小相似性单元。
• 证明分解定理：每个匹配可被唯一分解为简单匹配，从而支持结构分析。
• 开发高效算法，包括随机化和迭代方法，以计算最大匹配与简单匹配。
• 将该框架应用于在CIFAR-10和ImageNet上训练的ResNet与VGG网络，采用不同相似性阈值（ε）进行分析。

实验结果

研究问题

• RQ1 两台从不同初始化训练的相同深度神经网络在多大程度上学习到相同的中间表征？
• RQ2 表征之间的相似性是局部的（神经元对神经元）还是分布式的（聚类级别）？
• RQ3 激活子空间之间的最大匹配是否反映了学习表征的真实结构相似性？
• RQ4 简单匹配大小的分布如何揭示表征相似性的细粒度结构？
• RQ5 高测试准确率是否意味着中间层具有高表征相似性？

主要发现

• 不同初始化网络的卷积层之间最大匹配相似性极低，通常接近零，尤其在深层网络中更为明显。
• 输出层表征的高相似性并非源于内在的特征共享，而是由于对相同输出目标的对齐。
• 尽管输入分布相同，输入层的细粒度结构相似性也较低，表明神经元层面的对应关系有限。
• 简单匹配大小的分布显示极少数小匹配（如单个神经元），表明网络之间不存在显著的局部相似性。
• 观察到的低相似性与常见假设相悖，即相同架构的网络在不同训练运行中会学习到等价表征。
• 结果表明当前对表征学习的理解仍有限，且子空间匹配可能无法完全捕捉语义相似性，从而引发关于可解释性与度量选择的根本性问题。