[论文解读] Heavy-Tailed Universality Predicts Trends in Test Accuracies for Very Large Pre-Trained Deep Neural Networks

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|Jan 24, 2019

Machine Learning in Materials Science被引用 9

一句话总结

本文提出了一种基于预训练深度神经网络中重尾机制普遍性（HT-MU）的通用容量控制度量，通过权重矩阵相关性的幂律指数预测测试准确率趋势，而无需访问测试数据。该度量基于重尾随机矩阵理论，与26种不同架构报告的ImageNet top-1准确率具有强相关性，在预测能力上优于传统的基于范数的度量方法。

ABSTRACT

Given two or more Deep Neural Networks (DNNs) with the same or similar architectures, and trained on the same dataset, but trained with different solvers, parameters, hyper-parameters, regularization, etc., can we predict which DNN will have the best test accuracy, and can we do so without peeking at the test data? In this paper, we show how to use a new Theory of Heavy-Tailed Self-Regularization (HT-SR) to answer this. HT-SR suggests, among other things, that modern DNNs exhibit what we call Heavy-Tailed Mechanistic Universality (HT-MU), meaning that the correlations in the layer weight matrices can be fit to a power law (PL) with exponents that lie in common Universality classes from Heavy-Tailed Random Matrix Theory (HT-RMT). From this, we develop a Universal capacity control metric that is a weighted average of PL exponents. Rather than considering small toy NNs, we examine over 50 different, large-scale pre-trained DNNs, ranging over 15 different architectures, trained on ImagetNet, each of which has been reported to have different test accuracies. We show that this new capacity metric correlates very well with the reported test accuracies of these DNNs, looking across each architecture (VGG16/.../VGG19, ResNet10/.../ResNet152, etc.). We also show how to approximate the metric by the more familiar Product Norm capacity measure, as the average of the log Frobenius norm of the layer weight matrices. Our approach requires no changes to the underlying DNN or its loss function, it does not require us to train a model (although it could be used to monitor training), and it does not even require access to the ImageNet data.

研究动机与目标

• 在不访问测试数据或标签的情况下，预测大规模预训练DNN的测试准确率趋势。
• 开发一种适用于多种DNN架构的通用、无监督容量控制度量。
• 验证DNN权重矩阵的重尾统计特性与泛化性能之间的相关性。
• 提供一种可扩展、与架构无关的度量，用于指导DNN设计与微调。
• 提供一种基于理论的替代方案，以替代空洞的VC界和依赖数据的范数度量。

提出的方法

• 该方法通过权重矩阵相关谱的幂律拟合，识别DNN权重矩阵中的重尾机制普遍性（HT-MU）。
• 计算一个通用容量控制度量 $\hat{\alpha}$，作为各层幂律指数的加权平均。
• 该度量可通过层权重的对数Frobenius范数的平均值近似，从而将HT-RMT与熟悉的基于范数的容量度量联系起来。
• 该方法无需模型微调、无需测试数据，也无需修改损失函数。
• 利用OSMR Sandbox中的现有预训练模型，分析PyTorch实现中的权重矩阵。
• 通过 $\hat{\alpha}$ 与报告的ImageNet top-1准确率之间的相关性分析进行统计验证。

实验结果

研究问题

• RQ1 是否存在一种通用的、无监督的度量，可在不使用测试数据的情况下预测预训练DNN的测试准确率趋势？
• RQ2 DNN权重矩阵中的重尾相关性是否构成泛化能力的普遍性特征？
• RQ3 所提出的 $\hat{\alpha}$ 度量在预测能力上与传统基于范数的容量度量相比如何？
• RQ4 是否存在某些架构例外，使得该度量无法与测试准确率相关联？
• RQ5 该度量是否可用于指导架构搜索或微调，而不会导致数据泄露？

主要发现

• 在来自15种架构的26个预训练DNN中，$\hat{\alpha}$ 度量与报告的ImageNet top-1测试准确率表现出强相关性。
• 对于VGG和ResNet系列，$\hat{\alpha}$ 的相关性与平均对数Frobenius范数度量相当或更优。
• 在11个额外架构系列中的8个中，较小的 $\hat{\alpha}$ 值对应更高的测试准确率，26个模型中仅有一个异常值。
• 存在反例——ResNeXt、MeNet和FDMobileNet，其中该度量无法预测准确率趋势，表明其在某些架构中存在局限性。
• 该度量在多种架构中表现稳健，且无需访问训练数据、测试数据或模型微调。
• $\hat{\alpha}$ 度量可由平均对数Frobenius范数近似，从而将HT-RMT与标准基于范数的容量控制联系起来。