[论文解读] MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning

Baoquan Zhang, Luo, Chuyao+5 more|arXiv (Cornell University)|Jul 31, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

MetaDiff 提出了一种新颖的元学习框架，将少样本学习中的梯度下降过程建模为条件扩散去噪过程，从而无需二阶梯度并降低了内存开销。通过训练一个任务条件的 U-Net 来预测优化过程中模型权重的噪声，MetaDiff 在 miniImageNet 和 tiered-ImageNet 上实现了最先进性能，相较于现有基于梯度的元学习方法，准确率持续提升 1% 至 3%。

ABSTRACT

Equipping a deep model the abaility of few-shot learning, i.e., learning quickly from only few examples, is a core challenge for artificial intelligence. Gradient-based meta-learning approaches effectively address the challenge by learning how to learn novel tasks. Its key idea is learning a deep model in a bi-level optimization manner, where the outer-loop process learns a shared gradient descent algorithm (i.e., its hyperparameters), while the inner-loop process leverage it to optimize a task-specific model by using only few labeled data. Although these existing methods have shown superior performance, the outer-loop process requires calculating second-order derivatives along the inner optimization path, which imposes considerable memory burdens and the risk of vanishing gradients. Drawing inspiration from recent progress of diffusion models, we find that the inner-loop gradient descent process can be actually viewed as a reverse process (i.e., denoising) of diffusion where the target of denoising is model weights but the origin data. Based on this fact, in this paper, we propose to model the gradient descent optimizer as a diffusion model and then present a novel task-conditional diffusion-based meta-learning, called MetaDiff, that effectively models the optimization process of model weights from Gaussion noises to target weights in a denoising manner. Thanks to the training efficiency of diffusion models, our MetaDiff do not need to differentiate through the inner-loop path such that the memory burdens and the risk of vanishing gradients can be effectvely alleviated. Experiment results show that our MetaDiff outperforms the state-of-the-art gradient-based meta-learning family in few-shot learning tasks.

研究动机与目标

• 为解决基于梯度的元学习中因反向传播通过内层优化路径而导致的高内存消耗和梯度消失问题。
• 通过将梯度下降过程建模为类似扩散模型的去噪过程，探索元学习的新视角。
• 设计一种条件扩散框架，以可微且内存高效的方式学习从随机初始化到目标权重的基学习器权重优化。
• 通过用基于扩散的元优化器训练范式替代双层优化，提升少样本学习性能。

提出的方法

• 将内层梯度下降过程重新解释为反向扩散过程，其中模型权重从高斯噪声逐步去噪至最优值。
• 提出一种任务条件的 U-Net（TCUNet），用于在每个扩散步骤中基于少样本支持集数据预测噪声。
• 使用去噪损失进行模型训练，最小化预测噪声与模型权重中实际噪声之间的 L2 差异。
• 以扩散方式学习元优化器，避免通过内层路径反向传播，从而消除了二阶梯度计算。
• 该框架可应用于原型分类器和线性分类器，证明了其在不同头架构上的泛化能力。
• 在条件扩散设置下端到端训练，其中支持集作为每个时间步噪声预测的条件。

实验结果

研究问题

• RQ1 能否有效将元学习中的梯度下降过程建模为扩散模型中的去噪过程？
• RQ2 用基于扩散的元优化器替代双层优化，是否能降低内存消耗并提高训练稳定性？
• RQ3 仅用少量支持样本，任务条件的 U-Net 是否能有效预测优化过程中模型权重的噪声？
• RQ4 与最先进基于梯度的元学习方法相比，所提出的 MetaDiff 框架是否实现了更优的少样本学习性能？
• RQ5 所提出方法在不同主干网络和分类器类型上是否具备鲁棒性和泛化能力？

主要发现

• MetaDiff 在 miniImageNet 和 tiered-ImageNet 上均实现了最先进性能，在少样本准确率上相较于现有基于梯度的元学习方法提升 1% 至 3%。
• 该方法在不同主干网络（包括 Conv4 和 ResNet12）上均一致提升性能，展现出强大的泛化能力和架构无关性。
• MetaDiff 将 GPU 内存使用量稳定在恒定水平，与内层步数无关，而基线方法如 MetaLSTM 和 ALFA 的内存消耗则随内层步数线性增长。
• 消融实验表明，任务条件的 U-Net 和噪声预测的 L2 损失至关重要，移除任一组件均导致性能下降 1% 至 3%。
• 收敛性分析表明，MetaDiff 在约 450 个去噪步骤内即实现稳定，表明其训练动态可靠且稳定。
• MetaDiff 在不同分类器上均表现出良好泛化能力，在原型分类器和线性分类器上均取得更优结果，证实其广泛适用性。