[论文解读] Continuous-Time Meta-Learning with Forward Mode Differentiation

Tristan Deleu, David Kanaa+5 more|arXiv (Cornell University)|Mar 2, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出连续时间元学习（COMLN），一种新颖的元学习框架，将模型适应建模为常微分方程（ODE）的解，从而实现连续、可微的轨迹长度优化。通过利用前向模式微分，COMLN以恒定内存开销计算精确的元梯度，克服了传统MAML类方法的内存限制，同时在少样本图像分类基准上实现了最先进性能。

ABSTRACT

Drawing inspiration from gradient-based meta-learning methods with infinitely small gradient steps, we introduce Continuous-Time Meta-Learning (COMLN), a meta-learning algorithm where adaptation follows the dynamics of a gradient vector field. Specifically, representations of the inputs are meta-learned such that a task-specific linear classifier is obtained as a solution of an ordinary differential equation (ODE). Treating the learning process as an ODE offers the notable advantage that the length of the trajectory is now continuous, as opposed to a fixed and discrete number of gradient steps. As a consequence, we can optimize the amount of adaptation necessary to solve a new task using stochastic gradient descent, in addition to learning the initial conditions as is standard practice in gradient-based meta-learning. Importantly, in order to compute the exact meta-gradients required for the outer-loop updates, we devise an efficient algorithm based on forward mode differentiation, whose memory requirements do not scale with the length of the learning trajectory, thus allowing longer adaptation in constant memory. We provide analytical guarantees for the stability of COMLN, we show empirically its efficiency in terms of runtime and memory usage, and we illustrate its effectiveness on a range of few-shot image classification problems.

研究动机与目标

• 解决基于梯度的元学习方法在依赖离散、固定步长梯度下降时面临的内存与计算限制。
• 通过将学习过程建模为连续ODE轨迹，实现连续、可微的适应。
• 开发一种高效、内存可扩展的方法，利用前向模式微分计算精确的元梯度。
• 将适应长度视为可学习的元参数，通过随机梯度下降与初始化联合优化。
• 在少样本图像分类任务上实证验证COMLN的有效性与效率。

提出的方法

• COMLN将任务特定参数的适应建模为由训练损失导出的梯度向量场所决定的ODE的解。
• 该方法利用前向模式微分计算精确的元梯度，其计算复杂度与参数数量呈线性关系，而非与轨迹长度相关。
• 适应轨迹长度T被视为连续的元参数，与初始参数一起通过随机梯度下降进行优化。
• 使用数值积分（如龙格-库塔方法）求解ODE，最终分类器作为时间T处的解获得。
• 该算法设计稳定，避免了神经ODE中常出现的伴随方法带来的数值不稳定性。
• 该框架应用于使用预训练嵌入的少样本图像分类，最终通过ODE-based适应训练线性分类器。

实验结果

研究问题

• RQ1 与离散步长方法相比，元学习适应的连续时间建模是否能提升泛化能力与效率？
• RQ2 前向模式微分是否能实现恒定内存开销的精确元梯度，而与轨迹长度无关？
• RQ3 能否将适应长度视为可学习的元参数，通过端到端优化提升性能？
• RQ4 在准确率与内存使用方面，COMLN与MAML、Meta-SGD和ANIL等标准元学习基线相比表现如何？
• RQ5 COMLN在实际应用中是否稳定且可扩展，特别是在长适应轨迹情况下？

主要发现

• COMLN在mini-ImageNet上的少样本图像分类性能与标准元学习基线（如MAML、Meta-SGD、ANIL）相当或更优，5-way 1-shot准确率达到50.39%，5-way 5-shot达到70.06%。
• 由于采用前向模式微分，COMLN在元训练过程中保持恒定内存使用，与适应轨迹长度无关。
• 当使用固定主干网络时，COMLN优于MetaOptNet，表明先前工作中性能差距可能源于训练数据差异，而非模型架构。
• 实证结果表明，COMLN在计算与内存效率方面表现优异，即使在长轨迹下也能保持稳定的训练动态。
• 消融实验确认适应长度（T）是一个有意义的元参数，优化该参数可提升性能。
• 在仅使用单层线性分类器的方法中，COMLN实现了最先进性能，其结果与使用相同主干网络的更复杂模型（如LEO）相当或更优。