[论文解读] Fantastic Generalization Measures and Where to Find Them

Yiding Jiang, Behnam Neyshabur+3 more|arXiv (Cornell University)|Dec 4, 2019

Machine Learning and Algorithms参考文献 41被引用 153

一句话总结

一项大规模的实证研究，评估 40 种复杂性/泛化度量，在超过 10,000 个 CNNs 上，使用多样化超参数训练，旨在识别哪些度量能可靠地与泛化相关。

ABSTRACT

Generalization of deep networks has been of great interest in recent years, resulting in a number of theoretically and empirically motivated complexity measures. However, most papers proposing such measures study only a small set of models, leaving open the question of whether the conclusion drawn from those experiments would remain valid in other settings. We present the first large scale study of generalization in deep networks. We investigate more then 40 complexity measures taken from both theoretical bounds and empirical studies. We train over 10,000 convolutional networks by systematically varying commonly used hyperparameters. Hoping to uncover potentially causal relationships between each measure and generalization, we analyze carefully controlled experiments and show surprising failures of some measures as well as promising measures for further research.

研究动机与目标

• 评估已建立的和经验性的复杂性度量在多样化模型中预测泛化的能力。
• 使用广泛的受控实验来量化度量的可靠性，避免虚假相关。
• 使用新颖的评估工具，研究度量与泛化之间的因果式关系。
• 为未来泛化测量的理论与实践提供有前景的方向指南。

提出的方法

• 对 2187 个 CIFAR-10 模型进行训练，通过对 7 个超参数各自 3 种选项进行变动，直到达到收敛标准。
• 对每个模型计算覆盖 PAC-Bayes、VC-dimension、norm-based、以及 empirical measures 的 40 种复杂性度量。
• 使用 Kendall’s rank correlation tau 在所有模型之间评估度量与泛化的一致性。
• 通过对每个超参数的分析引入粒度化相关性，以检测参数特定的预测能力 (Psi)。
• 采用受 IC algorithm 启发的条件独立框架，评估度量与泛化之间潜在的因果联系。
• 在 SVHN 上重复分析，以检验发现跨数据集的鲁棒性。

实验结果

研究问题

• RQ1 哪些复杂性度量在广泛的超参数空间中与泛化显示出稳健的相关性？
• RQ2 基于范数的或与 margin/ sharpness 相关的度量是否能可靠预测泛化，以及在何种训练条件下？
• RQ3 是否能通过受控实验和条件独立性区分度量与泛化之间的虚假相关与因果关系？
• RQ4 不同超参数如何影响各种度量的预测能力？
• RQ5 基于 sharpness 的和与优化相关的度量是否比传统界限更能预测泛化？

主要发现

• 某些复杂性度量表现出虚假的相关性，在没有仔细的实验设计时可能具有误导性。
• 当优化引入随机性时，许多基于范数的度量与泛化呈负相关，尤其是光谱范数乘积界限。
• 基于 sharpness 的度量，包括 PAC-Bayes 风格的界限，整体上作为泛化差距的预测指标表现最佳。
• 与优化相关的度量，如梯度噪声和优化速度，显示出对泛化的预测能力。
• 光谱复杂性表现出出人意料的行为；光谱界限与泛化呈负相关，而 Frobenius 距离初始化可能呈负相关，Frobenius 参数范数可能呈正相关。
• 经验性度量如 cross-entropy、margin 和 output entropy 与广泛理解一致，即更大 margin 和更高输出熵与更好的泛化相关。