[论文解读] In Search of Robust Measures of Generalization

Gintare Karolina Dziugaite, Alexandre Drouin+6 more|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

本文提出一种分布鲁棒性框架，用于评估深度学习中的泛化度量，认为先前研究（例如 [9]）采用的平均情况性能可能掩盖关键缺陷。通过聚焦于数据分布、模型架构和超参数变化下的最坏情况环境，作者发现路径范数（path-norm）和 PAC-Bayes 平坦度度量更具鲁棒性，而谱度量则始终表现不佳，尤其在宽度和深度变化下更为明显。

ABSTRACT

One of the principal scientific challenges in deep learning is explaining generalization, i.e., why the particular way the community now trains networks to achieve small training error also leads to small error on held-out data from the same population. It is widely appreciated that some worst-case theories -- such as those based on the VC dimension of the class of predictors induced by modern neural network architectures -- are unable to explain empirical performance. A large volume of work aims to close this gap, primarily by developing bounds on generalization error, optimization error, and excess risk. When evaluated empirically, however, most of these bounds are numerically vacuous. Focusing on generalization bounds, this work addresses the question of how to evaluate such bounds empirically. Jiang et al. (2020) recently described a large-scale empirical study aimed at uncovering potential causal relationships between bounds/measures and generalization. Building on their study, we highlight where their proposed methods can obscure failures and successes of generalization measures in explaining generalization. We argue that generalization measures should instead be evaluated within the framework of distributional robustness.

研究动机与目标

• 解决深度学习中泛化界缺乏系统性、鲁棒性评估方法的问题。
• 批判先前大规模研究（如 [9]）所采用的平均情况评估框架，该框架可能掩盖泛化度量的失败。
• 提出一种分布鲁棒性框架，通过识别特定环境中的失败而非对结果取平均，来揭示问题。
• 通过强调在多样化模型与数据配置下的最坏情况性能，改进泛化理论的实证评估。
• 通过鲁棒回归和针对性干预，指导未来更可靠、基于理论的泛化度量的发展。

提出的方法

• 采用分布鲁棒性框架，将泛化度量的优劣基于其在一组环境家族中的最坏情况表现来评判。
• 基于数据分布（CIFAR-10、SVHN）、模型架构、训练集大小以及超参数（深度、宽度、初始学习率）定义环境家族。
• 使用鲁棒回归技术（见附录 B）建模超参数与泛化差距之间的关系，重点关注最坏情况下的偏差。
• 通过过滤去除蒙特卡洛噪声较高的环境，以确保符号错误估计的可靠性。
• 在环境的子家族中比较泛化度量（如路径范数、谱范数、PAC-Bayes 平坦度），以隔离其失效模式。
• 采用符号错误分析评估度量是否在预测泛化差距方面优于随机猜测，特别关注最坏情况子家族。

实验结果

研究问题

• RQ1 先前研究中的平均情况性能指标是否可能掩盖在多样化模型与数据配置下泛化度量的关键失败？
• RQ2 在由架构、数据和超参数定义的环境家族中，不同泛化度量在最坏情况下的表现如何？
• RQ3 哪些泛化度量在包括网络深度、宽度和学习率变化在内的多样化干预中表现出鲁棒性？
• RQ4 现有理论界 bounds 在多大程度上未能捕捉泛化误差对训练集大小的正确依赖关系？
• RQ5 基于最坏情况性能的鲁棒评估框架是否能改善对可靠泛化度量的识别？

主要发现

• [9] 中泛化度量的平均情况性能可能掩盖关键失败，例如 8.2% 的宽度环境因蒙特卡洛噪声过高而被剔除。
• 路径范数和基于 PAC-Bayes 平坦度的度量在最坏情况环境中始终优于其他度量，尤其在 CIFAR-10 的 'Depth' 和 'Width' 子家族中表现突出。
• 谱度量（如 'prod.of.spec'）在所有环境中表现均不佳，尤其在宽度和深度变化下，表明其存在根本性的不鲁棒性。
• 本研究发现，许多现有界随训练集大小增长，与经验观察（即泛化误差随数据增多而减小）相矛盾。
• 所提出的鲁棒评估框架揭示，在 CIFAR-10 的 'Depth' 环境中，当在最坏情况条件下评估时，没有任何度量的表现显著优于随机猜测。
• 作者发现，[9] 中超参数范围的差异以及 dropout 的使用导致结论出现分歧，凸显了结果对实验设计的高度敏感性。