[论文解读] A Sample Complexity Separation between Non-Convex and Convex Meta-Learning

Nikunj Saunshi, Yi Zhang+2 more|arXiv (Cornell University)|Feb 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用 7

一句话总结

本文通过构建一个一维子空间学习问题，建立了凸与非凸元学习之间的样本复杂度差异。证明了在新任务上，凸线性回归需要 Ω(d) 个样本，而非凸的两层线性网络配合 Reptile 方法则实现 O(1) 的样本复杂度，表明非凸性可通过轨迹感知的优化动态实现共享结构的有效元学习。

ABSTRACT

One popular trend in meta-learning is to learn from many training tasks a common initialization for a gradient-based method that can be used to solve a new task with few samples. The theory of meta-learning is still in its early stages, with several recent learning-theoretic analyses of methods such as Reptile [Nichol et al., 2018] being for convex models. This work shows that convex-case analysis might be insufficient to understand the success of meta-learning, and that even for non-convex models it is important to look inside the optimization black-box, specifically at properties of the optimization trajectory. We construct a simple meta-learning instance that captures the problem of one-dimensional subspace learning. For the convex formulation of linear regression on this instance, we show that the new task sample complexity of any initialization-based meta-learning algorithm is $Ω(d)$, where $d$ is the input dimension. In contrast, for the non-convex formulation of a two layer linear network on the same instance, we show that both Reptile and multi-task representation learning can have new task sample complexity of $\mathcal{O}(1)$, demonstrating a separation from convex meta-learning. Crucially, analyses of the training dynamics of these methods reveal that they can meta-learn the correct subspace onto which the data should be projected.

研究动机与目标

• 证明凸元学习分析可能不足以理解基于初始化的元学习成功的原因。
• 构建一个简单的元学习实例，以隔离一维子空间学习的挑战。
• 展示在基于初始化的元学习中，凸与非凸形式之间存在可证明的样本复杂度差距。
• 揭示轨迹分析优化动态对于理解非凸元学习性能至关重要。
• 重新审视现有的凸情况上界，并表明由于任务相似性假设不匹配，它们并不与新下界矛盾。

提出的方法

• 形式化一个元学习实例，其中任务共享一个一维子空间，使用超立方体顶点上的分布并满足汉明距离打包条件。
• 基于线性预测器的绝对值定义凸损失函数，任务特定参数与子空间结构相关联。
• 证明在基于初始化的元学习算法中，凸线性回归设置下的样本复杂度下界为 Ω(d)。
• 引入一个非凸的两层线性网络，作为同一假设类的过参数化形式。
• 分析非凸模型上的 Reptile 和多任务表示学习，表明新任务的样本复杂度为 O(1)。
• 采用基于轨迹的分析，表明优化动态学习到了正确的子空间，从而与任意极小化点区分开来。

实验结果

研究问题

• RQ1 当任务共享低维子空间时，凸元学习能否实现低样本复杂度？
• RQ2 在样本复杂度方面，基于过参数化模型的非凸元学习是否相对于凸形式具有可证明的优势？
• RQ3 为何非凸模型中的基于轨迹的优化动态能够成功学习共享结构，而凸方法却失败？
• RQ4 现有凸情况的上界与新下界之间有何关系？需要何种结构假设才能弥合这一差距？
• RQ5 先前凸分析中使用的任务相似性度量是否足以捕捉元学习中真正的底层结构？

主要发现

• 对于凸线性回归，任何基于初始化的元学习算法在解决新任务时都需要 Ω(d) 个样本，表明其无法有效利用共享子空间结构。
• 相比之下，非凸的两层线性网络形式使得 Reptile 和多任务学习在新任务上实现了 O(1) 的样本复杂度。
• 非凸情形成功的关键在于优化轨迹，因为只有特定路径才能学习到正确的子空间；并非所有极小化点都能实现这一点。
• 该下界并不与先前的凸情况上界矛盾，因为那些上界依赖于一个在此实例中较大的任务相似性度量（平均参数距离）。
• 本文证明了现有凸情况的上界是紧的，即若无更强的结构假设，这些上界无法进一步改进。
• 结果表明，分析优化轨迹对于理解非凸元学习（尤其是过参数化模型）至关重要。