[论文解读] Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis

Qi Chen, Changjian Shui+1 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 14

一句话总结

本文提出了一种新颖的信息论框架，用于分析元学习中的泛化问题，推导出显著优于传统基于梯度的泛化界的数据依赖性界。该框架为联合训练和交替训练两种范式分别提出了独立的界，并为随机MAML（Meta-SGLD）提供了非平凡的界，该界依赖于梯度不一致性而非Lipschitz常数，在少样本学习场景中验证其紧致性达到数量级的提升。

ABSTRACT

We derive a novel information-theoretic analysis of the generalization property of meta-learning algorithms. Concretely, our analysis proposes a generic understanding of both the conventional learning-to-learn framework and the modern model-agnostic meta-learning (MAML) algorithms. Moreover, we provide a data-dependent generalization bound for a stochastic variant of MAML, which is non-vacuous for deep few-shot learning. As compared to previous bounds that depend on the square norm of gradients, empirical validations on both simulated data and a well-known few-shot benchmark show that our bound is orders of magnitude tighter in most situations.

研究动机与目标

• 为元学习中的泛化提供统一的理论理解，涵盖传统学习-学习框架与现代无模型依赖的元学习（MAML）框架。
• 开发适用于非凸损失函数和随机算法的、与算法和数据相关的泛化界。
• 通过以梯度不一致性度量替代对梯度范数的依赖，克服深度少样本学习中平凡界（vacuous bounds）的局限性。
• 利用条件互信息形式化描述交替训练（元训练/元验证划分）的泛化行为。
• 通过实证验证理论界，显示其在多数少样本学习场景中相比先前基于梯度的界具有显著的紧致性提升。

提出的方法

• 基于算法输出与完整训练数据集之间的互信息，推导出联合训练的一般化界。
• 引入基于输出与元验证集之间条件互信息（给定元训练集）的交替训练界。
• 针对Meta-SGLD（MAML的随机变体）提出一种数据依赖性界，使用期望梯度不一致性作为复杂度度量，而非梯度范数。
• 采用蒙特卡洛模拟估计界中的梯度不一致性项，从而实现实际计算。
• 将该框架应用于模拟数据和标准少样本基准，验证界值的紧致性。
• 使用随机优化算法（SGLD）建模元学习的随机性，从而推导出信息论界。

实验结果

研究问题

• RQ1 如何通过信息论视角理论理解元学习中的泛化？
• RQ2 数据划分（支持集与查询集）在控制MAML类算法泛化误差中起什么作用？
• RQ3 为何传统基于梯度的泛化界在深度少样本学习中常为平凡界？
• RQ4 基于梯度不一致性的数据依赖性界是否能优于依赖梯度范数或Lipschitz常数的界？
• RQ5 所提出的框架如何统一分析元学习中联合训练与交替训练的泛化行为？

主要发现

• 所提出的交替训练泛化界由给定元训练集时，算法输出与元验证集之间的条件互信息表征，该界捕捉了算法的稳定性。
• Meta-SGLD的界依赖于期望梯度不一致性，而非梯度范数，从而避免了深度网络中Lipschitz常数过大的问题。
• 实证验证表明，所提出的界在大多数少样本学习场景中比传统基于梯度的界紧致一个数量级以上。
• 该理论框架恢复并推广了元学习中参数与表征迁移的先前结果，包括线性模型和高斯先验设置。
• 分析表明，在对抗性设定下，联合训练可能渐近有偏，而交替训练则提供了元泛化误差的无偏估计。
• 该框架具有灵活性，适用于非凸、非线性模型和任意数据分布，因此在现代元学习中具有广泛适用性。