[论文解读] Generalization Bounds for Meta-Learning via PAC-Bayes and Uniform Stability

Alec Farid, Anirudha Majumdar|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出PAC-BUS，一种通过结合基础学习器的统一稳定性与元学习器的PAC-Bayes理论，用于梯度元学习的新型泛化界。该方法在非凸和基于文本的少样本学习任务中，相较于先前方法得到了更紧致的泛化界，并提出了一种实用的正则化方案，显著提升了基线模型的泛化性能。

ABSTRACT

We are motivated by the problem of providing strong generalization guarantees in the context of meta-learning. Existing generalization bounds are either challenging to evaluate or provide vacuous guarantees in even relatively simple settings. We derive a probably approximately correct (PAC) bound for gradient-based meta-learning using two different generalization frameworks in order to deal with the qualitatively different challenges of generalization at the "base" and "meta" levels. We employ bounds for uniformly stable algorithms at the base level and bounds from the PAC-Bayes framework at the meta level. The result of this approach is a novel PAC bound that is tighter when the base learner adapts quickly, which is precisely the goal of meta-learning. We show that our bound provides a tighter guarantee than other bounds on a toy non-convex problem on the unit sphere and a text-based classification example. We also present a practical regularization scheme motivated by the bound in settings where the bound is loose and demonstrate improved performance over baseline techniques.

研究动机与目标

• 为解决元学习中缺乏强且非平凡泛化界的问题，特别是针对基于梯度的方法。
• 克服现有泛化界在计算上不可行或在简单设置下为平凡界的问题。
• 构建一个统一框架，分别使用最适合的理论对基础层和元层的泛化行为进行建模。
• 基于推导出的泛化界，设计一种实用的正则化方案，以提升元学习性能。
• 通过在玩具数据集和真实世界少样本基准上的实证验证，检验该泛化界的紧致性以及正则化方案的有效性。

提出的方法

• 利用统一稳定性理论来约束基础学习阶段的泛化误差，利用快速适应的基于梯度的算法具有稳定性的事实。
• 应用PAC-Bayes理论来约束元学习阶段的泛化误差，将元泛化类比为标准监督学习中的泛化。
• 通过将基础学习器的稳定性与PAC-Bayesian元泛化保证相结合，将两个框架整合为单一复合泛化界——PAC-BUS。
• 推导出一个正则化MAML目标函数，以最小化理论泛化界，从而得到一种实用的训练算法。
• 对元学习率、基础学习率和基础更新步数等超参数进行搜索，以优化泛化界。
• 使用在部分任务子集上预训练的先验网络来初始化元学习器，符合PAC-Bayes的形式化设定。

实验结果

研究问题

• RQ1 结合统一稳定性与PAC-Bayes的混合泛化界，是否能在元学习中提供比现有方法更紧致且更实用的泛化保证？
• RQ2 所提出的泛化界是否能真实反映非凸和基于文本的少样本学习任务中的实际泛化性能？
• RQ3 基于该泛化界推导出的正则化方案，是否能提升基准数据集上的元学习性能？
• RQ4 当基础学习器适应速度较快时，该泛化界的紧致性如何变化？（因为快速适应意味着稳定性）
• RQ5 该泛化界在实际中是否非平凡且可计算，即使在小规模设置下也成立？

主要发现

• 在单位球面上的玩具非凸问题上，PAC-BUS提供的泛化界显著比现有方法更紧致，后者给出的泛化界要么是平凡的，要么过于松散。
• 在Mini-Wiki基准上，PAC-BUS在测试准确率上与MAML和MR-MAML相当，同时提供了非平凡的泛化保证。
• 基于PAC-BUS的正则化方案在Mini-Wiki上优于标准MAML和FLI-Batch，尤其在1-shot和3-shot设置下表现更优。
• 在Omniglot数据集中，采用正则化的PAC-BUS实现了具有竞争力的元测试准确率，且泛化界保持非平凡，训练过程稳定。
• 当基础学习器适应速度较快时，泛化界更紧致，验证了理论直觉：快速适应通过稳定性带来更好的泛化。
• 在单张GPU上计算泛化界约需2天，但由此产生的正则化显著提升了训练效率和模型性能。