[论文解读] Model Zoos: A Dataset of Diverse Populations of Neural Network Models

Konstantin Schürholt, Diyar Taskiran+3 more|arXiv (Cornell University)|Sep 29, 2022

Neural Networks and Applications被引用 5

一句话总结

本文提出一个大规模、系统性整理的数据集，包含在八个图像数据集上训练的27种多样化模型动物园的50,360个神经网络模型，采用不同的超参数设置。该数据集支持模型分析、学习动态、表征学习及权重生成建模的研究，包含基准测试和稀疏化模型孪生体，以增强实用性与可复现性。

ABSTRACT

In the last years, neural networks (NN) have evolved from laboratory environments to the state-of-the-art for many real-world problems. It was shown that NN models (i.e., their weights and biases) evolve on unique trajectories in weight space during training. Following, a population of such neural network models (referred to as model zoo) would form structures in weight space. We think that the geometry, curvature and smoothness of these structures contain information about the state of training and can reveal latent properties of individual models. With such model zoos, one could investigate novel approaches for (i) model analysis, (ii) discover unknown learning dynamics, (iii) learn rich representations of such populations, or (iv) exploit the model zoos for generative modelling of NN weights and biases. Unfortunately, the lack of standardized model zoos and available benchmarks significantly increases the friction for further research about populations of NNs. With this work, we publish a novel dataset of model zoos containing systematically generated and diverse populations of NN models for further research. In total the proposed model zoo dataset is based on eight image datasets, consists of 27 model zoos trained with varying hyperparameter combinations and includes 50'360 unique NN models as well as their sparsified twins, resulting in over 3'844'360 collected model states. Additionally, to the model zoo data we provide an in-depth analysis of the zoos and provide benchmarks for multiple downstream tasks. The dataset can be found at www.modelzoos.cc.

研究动机与目标

• 解决缺乏标准化、大规模的神经网络模型群体（模型动物园）数据集的问题，该问题阻碍了可复现的研究。
• 通过提供统一、系统生成的数据集，控制超参数变化并配备全面元数据，降低研究障碍。
• 推动模型分析、学习动态推断、表征学习以及神经网络权重生成建模等新研究方向。
• 通过共享、公开可用的数据集，支持在多个下游任务中对方法进行基准测试与比较。
• 促进对权重空间中结构特性的研究，例如曲率、平滑性以及模型群体中的泛化模式。

提出的方法

• 使用两种CNN架构，在八个标准图像分类数据集上系统性地训练27个模型动物园，采用多样化的超参数组合。
• 收集并存储50,360个唯一神经网络模型及其稀疏化对应模型，共计超过380万个模型状态。
• 为每个模型嵌入全面的元数据，包括训练超参数、准确率、泛化差距及其他模型属性。
• 设计数据集时控制生成因素（如：学习率、权重衰减、优化器等），以支持对模型群体行为的结构化分析。
• 为四个关键应用场景提供标准化基准：模型属性预测、学习动态推断、表征学习和模型生成。
• 利用该数据集训练并评估模型群体的表征，支持迁移学习和模型生成等下游任务。

实验结果

研究问题

• RQ1 在受控超参数变化下，神经网络模型群体在权重空间中是否形成结构化、平滑的轨迹？
• RQ2 模型动物园在多大程度上能揭示潜在的学习动态，如泛化趋势或过拟合模式，跨越训练轨迹？
• RQ3 基于模型群体学习到的表征，是否能比原始权重或统计量更优地预测模型属性（如准确率或鲁棒性）？
• RQ4 模型动物园在生成具有可控属性的新颖、高性能神经网络权重方面有多高效？
• RQ5 在群体层面分析中，密集模型与其稀疏化孪生体之间存在怎样的结构与功能关系？

主要发现

• 该数据集包含27个模型动物园中的50,360个唯一神经网络模型，共收集超过380万个模型状态，包含稀疏化孪生模型。
• 模型动物园在权重空间中表现出结构化、平滑的轨迹，表明在超参数变化下存在一致的几何模式。
• 当使用在模型群体上学习到的表征时，该数据集在模型属性预测任务中表现更优，优于基于原始权重或统计量的方法。
• 稀疏化模型孪生体揭示了权重幅值分布和性能权衡的一致性模式，支持对剪枝效应的群体层面分析。
• 该数据集支持基于群体的方法开发与基准测试，涵盖早停、超参数搜索和迁移学习等任务。
• 标准化基准的提供使得在模型分析、表征学习和生成建模任务中，方法的直接比较与可复现性得以实现。