[论文解读] For self-supervised learning, Rationality implies generalization, provably

Yamini Bansal, Gal Kaplun+1 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 7

一句话总结

该论文证明，自监督学习（SSL）方法在使用简单线性分类器时泛化性能良好，是因为当分类器复杂度相对于训练样本数量较小时，其泛化差距会消失。作者提出了RRM界——将泛化差距分解为鲁棒性、合理性和记忆性差距——表明当合理性和鲁棒性差距较小时，即使在过参数化的表示下，泛化误差也较小。

ABSTRACT

We prove a new upper bound on the generalization gap of classifiers that are obtained by first using self-supervision to learn a representation $r$ of the training data, and then fitting a simple (e.g., linear) classifier $g$ to the labels. Specifically, we show that (under the assumptions described below) the generalization gap of such classifiers tends to zero if $\mathsf{C}(g) \ll n$, where $\mathsf{C}(g)$ is an appropriately-defined measure of the simple classifier $g$'s complexity, and $n$ is the number of training samples. We stress that our bound is independent of the complexity of the representation $r$. We do not make any structural or conditional-independence assumptions on the representation-learning task, which can use the same training dataset that is later used for classification. Rather, we assume that the training procedure satisfies certain natural noise-robustness (adding small amount of label noise causes small degradation in performance) and rationality (getting the wrong label is not better than getting no label at all) conditions that widely hold across many standard architectures. We show that our bound is non-vacuous for many popular representation-learning based classifiers on CIFAR-10 and ImageNet, including SimCLR, AMDIM and MoCo.

研究动机与目标

• 解释为何自监督学习（SSL）在使用简单分类器时，尽管表示过参数化，仍能实现良好泛化。
• 识别控制SSL中泛化性能的关键因素——鲁棒性、合理性和记忆性。
• 证明一个与表示复杂度无关的非平凡泛化差距上界。
• 表明在实践中，SSS（自监督 + 简单）模型的合理性差距通常较小或为零，支持其泛化性能。
• 提供一个理论框架（RRM界），将泛化误差分解并量化SSL流程中的泛化误差。

提出的方法

• 提出RRM界，将泛化差距分解为三个部分：鲁棒性差距、合理性差距和记忆性差距。
• 将鲁棒性差距定义为当一小部分标签η被随机标签污染时，训练准确率的下降量。
• 将合理性差距定义为在噪声训练样本（错误标签）与测试样本（无标签）之间性能的差异。
• 将记忆性差距定义为在标签污染下，完整训练集与仅噪声样本之间的准确率差异。
• 在弱假设下证明，泛化差距由这三个差距之和上界控制。
• 展示对于许多SSS模型（如SimCLR、AMDIM、BigBiGAN），合理性差距和鲁棒性差距较小，从而得出非平凡的泛化界。

实验结果

研究问题

• RQ1 为何自监督学习模型在使用简单分类器时，尽管表示过参数化，仍能实现良好泛化？
• RQ2 我们能否在不依赖表示复杂度的前提下，形式化地界定SSS学习中的泛化差距？
• RQ3 鲁棒性和合理性在决定SSL中泛化性能方面起到什么作用？
• RQ4 在标准SSS模型（如SimCLR和AMDIM）中，合理性差距在实践中是否通常较小或为零？
• RQ5 我们能否从一个非理性的模型构造出一个可证明泛化性能更优的推理过程，从而证明性能‘被遗漏了’？

主要发现

• 当分类器复杂度𝒞(g)远小于训练样本数n时，SSS模型的泛化差距趋于零。
• RRM界将泛化差距分解为鲁棒性、合理性和记忆性差距，其中记忆性差距通常占主导地位。
• 在CIFAR-10和ImageNet上的实证评估表明，RRM界是非平凡的，且通常接近实际泛化差距。
• 对于SimCLR、AMDIM和BigBiGAN，合理性差距较小或为零，支持其强大的泛化性能。
• 论文证明了一个‘表上性能’定理：通过计算成本较高但理论上有效的推理过程，非理性的模型可被转化为性能更优的模型。
• 该界与表示复杂度无关，表明SSS学习中的泛化并非由表示驱动，而是由分类器的简单性与鲁棒性决定。