[论文解读] Hyper-Representations: Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction

Konstantin Schürholt, Dimche Kostadinov+1 more|arXiv (Cornell University)|Oct 28, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 Hyper-Representations，一种自监督表示学习框架，可直接从神经网络群体的权重中学习有意义的、与任务无关的表示。通过应用领域特定的数据增强方法——如结构保持的排列、擦除和噪声——并结合改进的 Transformer 架构，该方法在预测模型特性（如超参数、测试准确率和泛化差距）方面达到最先进性能，并在分布外设置下展现出强大的零样本迁移能力。

ABSTRACT

Datasets to NeurIPS 2021 accepted paper "Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction". Datasets are pytorch files containing a dictionary with training, validation and test sets. Train, validation and test sets are custom dataset classes which inherit from the standard torch dataset class. Corresponding code an be found at https://github.com/HSG-AIML/NeurIPS_2021-Weight_Space_Learning. Datasets 41, 42, 43 and 44 are our dataset format wrapped around the zoos from Unterthiner et al, 2020 (https://github.com/google-research/google-research/tree/master/dnn_predict_accuracy)<br> <br> Abstract:<br> Self-Supervised Learning (SSL) has been shown to learn useful and information-preserving representations. Neural Networks (NNs) are widely applied, yet their weight space is still not fully understood. Therefore, we propose to use SSL to learn neural representations of the weights of populations of NNs. To that end, we introduce domain specific data augmentations and an adapted attention architecture. Our empirical evaluation demonstrates that self-supervised representation learning in this domain is able to recover diverse NN model characteristics. Further, we show that the proposed learned representations outperform prior work for predicting hyper-parameters, test accuracy, and generalization gap as well as transfer to out-of-distribution settings.

研究动机与目标

• 从神经网络群体的权重空间中学习与任务无关、信息保留的表示。
• 解决目前对权重空间中不同区域如何与模型特性（如准确率和泛化能力）相关联的理解不足问题。
• 通过端到端的自监督学习方法，超越依赖手工设计特征的先前监督方法，学习表示。
• 实现在分布外模型动物园中的零样本迁移，用于特性预测。
• 验证在权重上进行自监督学习可揭示神经网络权重空间中潜在的、有意义的结构。

提出的方法

• 提出一种新颖的自监督学习框架，直接应用于训练好的神经网络的权重，形成一个权重向量的“模型动物园”。
• 引入三种领域特定的数据增强方法：权重的结构保持排列、擦除和噪声注入，以保留权重空间中的归纳偏置。
• 对 Transformer 架构进行适配，以处理和编码权重表示，实现基于注意力的特征学习。
• 采用对比学习和重建学习相结合的预训练目标，从权重向量的增强视图中学习超表示。
• 在下游任务（如预测超参数、准确率、泛化差距）中使用线性探测来评估所学表示的实用性。
• 结合重建学习和对比学习目标，以提升表示质量和泛化能力。

实验结果

研究问题

• RQ1 在神经网络权重上进行自监督表示学习，能否恢复出如超参数和测试准确率等有意义的潜在模型特性？
• RQ2 领域特定的数据增强方法——尤其是结构保持的排列——如何影响所学权重表示的质量？
• RQ3 所提出的超表示能否在分布外的模型动物园中实现对模型特性的泛化？
• RQ4 与先前最先进方法相比，该方法在从权重预测模型特性方面表现如何？
• RQ5 权重空间多样性（如来自不同随机种子的变化）在模型特性可恢复性中起什么作用？

主要发现

• 所提方法在预测测试准确率方面达到最先进性能，在使用 E c+ D 方法的 MNIST-HYP 数据集中 R² 得分为 89.4，显著优于 W 和 s(W) 基线方法。
• 在泛化差距预测方面，该方法在 MNIST-HYP 数据集中 R² 得分为 32.9，显著优于基线方法 W（15.3）和 s(W)（24.8）。
• 在 MNIST-SEED 数据集中，该方法在测试准确率预测中 R² 达到 87.2，表明即使在分布外设置下也表现出色。
• 该方法在所有任务和数据集上均展现出更优的 Kendall’s τ 得分，表明其在模型特性预测的排序性能更优。
• 消融实验表明，模型动物园中随机种子的差异可增强模型特性的可恢复性，凸显了训练配置多样性的关键作用。
• 该模型在零样本迁移性能上表现稳健，在 MNIST-HYP、FASHION-HYP、SVHN-HYP 和 CIFAR10-HYP 的分布外评估中，R² 和 Kendall’s τ 得分均高于基线方法。