[论文解读] Classifying the classifier: dissecting the weight space of neural networks

Gabriel Eilertsen, Daniel Jönsson+3 more|arXiv (Cornell University)|Feb 13, 2020

Machine Learning and Data Classification参考文献 41被引用 6

一句话总结

本文提出了神经权重空间（NWS）作为训练好的深度神经网络的高维表征，利用16,000个具有多样化超参数的CNN模型，探索优化器、初始化方式和数据集等训练因素如何塑造权重。通过在小部分权重子集上训练元分类器，研究发现超参数在权重空间中留下了可检测的、局部化的痕迹——尤其是初始化方式和优化器——使得仅凭权重即可推断出训练配置。本文还公开发布了包含320,000个快照的NWS数据集，供公众使用。

ABSTRACT

This paper presents an empirical study on the weights of neural networks, where we interpret each model as a point in a high-dimensional space -- the neural weight space. To explore the complex structure of this space, we sample from a diverse selection of training variations (dataset, optimization procedure, architecture, etc.) of neural network classifiers, and train a large number of models to represent the weight space. Then, we use a machine learning approach for analyzing and extracting information from this space. Most centrally, we train a number of novel deep meta-classifiers with the objective of classifying different properties of the training setup by identifying their footprints in the weight space. Thus, the meta-classifiers probe for patterns induced by hyper-parameters, so that we can quantify how much, where, and when these are encoded through the optimization process. This provides a novel and complementary view for explainable AI, and we show how meta-classifiers can reveal a great deal of information about the training setup and optimization, by only considering a small subset of randomly selected consecutive weights. To promote further research on the weight space, we release the neural weight space (NWS) dataset -- a collection of 320K weight snapshots from 16K individually trained deep neural networks.

研究动机与目标

• 探索神经权重空间（NWS）作为训练好的深度神经网络的高维表征的结构。
• 研究优化器、初始化方式和数据集等超参数如何影响最终的权重配置。
• 开发一种元分类框架，从权重模式中推断训练配置，实现对训练历史的逆向工程。
• 发布一个大规模、公开可访问的320,000个权重快照数据集，涵盖16,000个训练好的CNN模型，以支持未来可解释AI与元学习研究。
• 证明局部权重子集包含足够信息以分类超参数，揭示优化过程在何处以及如何编码训练选择。

提出的方法

• 在多样化超参数组合（数据集、优化器、初始化方式、数据增强、滤波器大小）下训练16,000个各不相同的CNN模型，以采样NWS。
• 将每个训练好的模型表示为高维权重空间中的一个点，并在多个训练步骤中收集权重快照。
• 训练深度元分类器（DMCs），从权重向量中预测超参数，实现从权重到训练配置的逆向映射。
• 引入局部元分类器，分析小段连续的权重子集，以量化超参数在神经网络中的编码位置。
• 使用类激活图和在模型深度与训练进度上的性能评估，可视化元分类器准确率的分布。
• 发布NWS数据集及训练脚本，以支持研究的复现与拓展。

实验结果

研究问题

• RQ1 在深度神经网络的权重中，编码了多少关于训练配置的信息？
• RQ2 在神经网络架构中，哪些位置的权重模式最能区分不同超参数？
• RQ3 优化过程如何塑造权重空间？这些模式在训练过程中的哪个阶段出现？
• RQ4 一小段连续的权重是否足以揭示关键超参数（如优化器或初始化方式）的身份？
• RQ5 仅基于权重训练的元分类器，在异构架构之间，能在多大程度上区分不同的训练配置？

主要发现

• 初始化方式被确定为权重空间中最具区分性的特征，元分类器在从权重模式中识别初始化方式时表现出高准确率。
• 优化器具有强烈且局部化的影响，特别是在卷积层的偏置权重上，这些权重显著贡献于区分模型配置。
• 靠近输入层和输出层的权重比更深、更隐藏的层更快地偏离初始化状态，表明这些区域更早且更强烈地受到优化影响。
• 训练所用数据集在权重空间中具有可测量但不那么显著的痕迹，相较于学习率调度或优化器类型等优化技术而言。
• 局部元分类器在小段权重子集上表现优异，表明大量训练配置信息以局部方式编码，且可仅用极少数据提取。
• 研究发现滤波器大小和激活函数也在权重空间中留下可检测的痕迹，尤其在浅层和中间层，其表现随网络深度而异。