[论文解读] Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning

Nan Ding, Xi Chen+3 more|arXiv (Cornell University)|May 28, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出了针对少样本元学习的新PAC-Bayesian泛化界，放松了元训练与元测试任务之间训练数据分布相同的不切实际假设。通过引入一种子采样策略，作者推导出一个更紧致的界，从而为MAML和Reptile等现有算法提供理论支持，并提出PACMAML——一种计算效率更高的替代方法，在基准数据集上优于先前的方法。

ABSTRACT

Despite recent advances in its theoretical understanding, there still remains a significant gap in the ability of existing PAC-Bayesian theories on meta-learning to explain performance improvements in the few-shot learning setting, where the number of training examples in the target tasks is severely limited. This gap originates from an assumption in the existing theories which supposes that the number of training examples in the observed tasks and the number of training examples in the target tasks follow the same distribution, an assumption that rarely holds in practice. By relaxing this assumption, we develop two PAC-Bayesian bounds tailored for the few-shot learning setting and show that two existing meta-learning algorithms (MAML and Reptile) can be derived from our bounds, thereby bridging the gap between practice and PAC-Bayesian theories. Furthermore, we derive a new computationally-efficient PACMAML algorithm, and show it outperforms existing meta-learning algorithms on several few-shot benchmark datasets.

研究动机与目标

• 解决PAC-Bayesian理论与少样本元学习实践之间的差距，其中元训练与元测试任务的训练数据规模不匹配。
• 指出现有PAC-Bayesian界在少样本设置中失效，原因在于其假设观测任务与目标任务的数据规模遵循相同分布。
• 为元训练任务数据量远大于元测试任务数据量（$\tilde{m} \gg m$）的情形，设计两个新的PAC-Bayesian界。
• 证明这些界可通过最大后验估计（MAP）解释已知元学习算法（如MAML和Reptile）的成功。
• 提出PACMAML，一种基于更紧致界的新颖、计算高效的元学习算法，无需高阶梯度。

提出的方法

• 放松标准PAC-Bayesian假设，即元训练与元测试任务的数据规模应同分布。
• 推导出两个新的PAC-Bayesian界：一个包含差异惩罚项（定理3），另一个通过子采样策略不包含该惩罚项（定理4）。
• 在元训练过程中引入子采样机制，以消除惩罚项，从而获得更紧致的泛化界。
• 证明所推导界的最大后验估计（MAP）可恢复已知的元学习算法，包括MAML、Reptile及多任务预训练。
• 基于定理4设计PACMAML作为新算法，避免使用高阶梯度，从而提升计算效率。
• 在标准超参数调优与优化协议下，于少样本基准数据集上实现并评估PACMAML。

实验结果

研究问题

• RQ1 为何现有PAC-Bayesian界无法解释少样本元学习设置中的性能表现？
• RQ2 PAC-Bayesian理论如何适应元训练与元测试任务之间训练数据规模不匹配的问题？
• RQ3 能否推导出更紧致的PAC-Bayesian界，以消除对小目标任务规模$m$的依赖？
• RQ4 所推导的界能否解释MAML和Reptile等现有元学习算法的成功？
• RQ5 能否基于改进的理论框架推导出一种新型、更高效的元学习算法？

主要发现

• 所提出的PAC-Bayesian界将泛化误差的缩放从$O(1/m)$降低至$O(1/\tilde{m})$，其中$\tilde{m}$为元训练样本数。
• 定理4中的子采样策略消除了差异惩罚项，从而获得显著更紧致的界。
• 所推导界的最大后验估计（MAP）可恢复MAML、Reptile及多任务预训练，为这些方法提供了理论依据。
• PACMAML基于更紧致的界推导而来，在多个少样本基准数据集（包括NLI与图像分类任务）上达到最先进性能。
• 在12任务NLI基准上，PACMAML在16-shot设置下平均准确率达到59.18%，优于MAML（57.38%）、BMAML（56.53%）和PACOH（58.22%）。
• PACMAML避免使用高阶梯度，相比MAML具有更高效的训练过程。