[论文解读] Meta-learning the Learning Trends Shared Across Tasks

Jathushan Rajasegaran, Salman Khan+3 more|arXiv (Cornell University)|Oct 19, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出PAMELA，一种与模型无关的元学习框架，通过优化迭代特定的梯度预处理并使用梯度跳跃连接来聚合历史上下文，学习动态的、任务特定的学习趋势。通过建模不同任务中更新方向和学习率随时间的演变，该方法实现了更快的收敛速度，并在少样本分类和回归任务中取得了更优的性能。

ABSTRACT

Meta-learning stands for 'learning to learn' such that generalization to new tasks is achieved. Among these methods, Gradient-based meta-learning algorithms are a specific sub-class that excel at quick adaptation to new tasks with limited data. This demonstrates their ability to acquire transferable knowledge, a capability that is central to human learning. However, the existing meta-learning approaches only depend on the current task information during the adaptation, and do not share the meta-knowledge of how a similar task has been adapted before. To address this gap, we propose a 'Path-aware' model-agnostic meta-learning approach. Specifically, our approach not only learns a good initialization for adaptation, it also learns an optimal way to adapt these parameters to a set of task-specific parameters, with learnable update directions, learning rates and, most importantly, the way updates evolve over different time-steps. Compared to the existing meta-learning methods, our approach offers: (a) The ability to learn gradient-preconditioning at different time-steps of the inner-loop, thereby modeling the dynamic learning behavior shared across tasks, and (b) The capability of aggregating the learning context through the provision of direct gradient-skip connections from the old time-steps, thus avoiding overfitting and improving generalization. In essence, our approach not only learns a transferable initialization, but also models the optimal update directions, learning rates, and task-specific learning trends. Specifically, in terms of learning trends, our approach determines the way update directions shape up as the task-specific learning progresses and how the previous update history helps in the current update. Our approach is simple to implement and demonstrates faster convergence. We report significant performance improvements on a number of FSL datasets.

研究动机与目标

• 解决现有元学习方法在内层适应过程中忽略学习趋势（如演变的更新方向和步长）的局限性。
• 通过编码任务特定优化路径的共享时间动态，提升少样本学习中的泛化能力和收敛速度。
• 通过残差式连接引入历史梯度信息，缓解内层更新中的梯度消失和过拟合问题。
• 开发一种与模型无关的元学习方法，不仅学习良好的初始化，还学习跨任务的最优适应轨迹。
• 通过学习学习行为随时间的变化，实现更快更稳定的适应，模拟人类式的学习进展。

提出的方法

• 在内层循环中引入迭代特定的梯度预处理矩阵，使每个更新步骤具有不同的学习动态。
• 设计一种基于残差连接的机制，实现前一时间步梯度的直接流动，形成梯度跳跃连接。
• 学习一个共享的元学习器，联合优化初始化和更新规则（包括学习率和方向）在所有任务上的表现。
• 采用双层训练范式：外层基于任务性能更新元参数，内层使用动态预处理执行任务特定的适应。
• 集成梯度跳跃机制以保留早期更新的上下文信息，提升适应过程中的稳定性和减少过拟合。
• 通过确保方法可应用于任意可微分模型且无需架构修改，保持与模型无关的特性。

实验结果

研究问题

• RQ1 能否有效建模跨任务的学习趋势（如演变的更新方向和步长），以提升元学习性能？
• RQ2 通过跳跃连接引入历史梯度信息，对少样本学习中的收敛性和泛化能力有何影响？
• RQ3 与单一预处理或固定更新规则相比，学习迭代特定的预处理是否能提升适应速度和准确性？
• RQ4 梯度跳跃连接在多大程度上缓解了内层优化中的梯度消失和过拟合问题？
• RQ5 与MAML和Meta-SGD相比，该方法在收敛速度、参数效率以及少样本分类和回归任务性能方面表现如何？

主要发现

• PAMELA在少样本分类基准（包括miniImageNet、tieredImageNet和CIFAR-FS）上取得显著性能提升，优于MAML和Meta-SGD。
• PAMELA的收敛速度优于MAML和Meta-SGD，每轮任务的训练和推理时间仅比MAML增加5%。
• PAMELA的内层梯度随时间减小，表明其适应过程稳定且高效；而MAML的梯度保持较大且发散。
• PAMELA的元梯度接近零，表明模型已学习到接近最优的初始化；而MAML需要较大的元更新。
• 梯度跳跃连接显著提升泛化能力并减少过拟合，消融实验表明其贡献显著，尽管对宽度影响微小。
• 该方法计算效率高，参数量仅比MAML多33%，而Meta-SGD则多出100%，因此更具可扩展性和实用性。