[论文解读] Meta-Learning with Adaptive Hyperparameters

Sungyong Baik, Myungsub Choi+3 more|arXiv (Cornell University)|Oct 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用 6

一句话总结

本文提出 ALFA（用于快速适应的超参数自适应学习），一种元学习框架，通过小型元网络动态生成特定于任务的学习率和权重衰减系数，从而在少样本学习中提升快速适应能力。与以往专注于改进初始化的研究不同，ALFA 改进了内循环优化过程，在随机初始化下实现的少样本分类准确率甚至优于 MAML，表明自适应权重更新与良好初始化同样关键。

ABSTRACT

Despite its popularity, several recent works question the effectiveness of MAML when test tasks are different from training tasks, thus suggesting various task-conditioned methodology to improve the initialization. Instead of searching for better task-aware initialization, we focus on a complementary factor in MAML framework, inner-loop optimization (or fast adaptation). Consequently, we propose a new weight update rule that greatly enhances the fast adaptation process. Specifically, we introduce a small meta-network that can adaptively generate per-step hyperparameters: learning rate and weight decay coefficients. The experimental results validate that the Adaptive Learning of hyperparameters for Fast Adaptation (ALFA) is the equally important ingredient that was often neglected in the recent few-shot learning approaches. Surprisingly, fast adaptation from random initialization with ALFA can already outperform MAML.

研究动机与目标

• 为解决梯度基元学习中内循环优化作用被低估的问题，特别是针对新任务的快速适应。
• 探究改进权重更新规则是否能像优化初始化一样有效提升少样本泛化能力。
• 开发一种方法，基于当前模型状态（权重和梯度）在内循环更新过程中动态调整超参数（学习率和权重衰减）。
• 验证自适应超参数调节能否成为元学习性能中的关键因素，而这一因素常被忽视。

提出的方法

• 引入一个小型元网络，为每个内循环更新步骤生成学习率和权重衰减系数。
• 将超参数生成条件设置为当前模型权重和梯度，以实现对任务和步骤的特定适应。
• 采用可微架构，使元网络能够与基础学习器端到端联合训练。
• 在内循环优化中应用自适应超参数，取代固定的学习率和权重衰减。
• 使用支持集和查询集计算的元损失来训练元网络，以优化快速适应和泛化能力。
• 将 ALFA 集成到现有元学习框架（如 MAML）中，以提升性能，而无需修改初始化策略。

实验结果

研究问题

• RQ1 在内循环优化过程中进行自适应超参数调节能否显著提升少样本泛化能力，超越固定超参数？
• RQ2 自适应超参数带来的性能提升是否与 MAML 中学习更优初始化的收益相当或更优？
• RQ3 与学习初始化相比，动态生成的学习率和权重衰减如何影响从随机初始化开始的适应能力？
• RQ4 生成的超参数在不同任务和内循环步骤之间的变化程度如何？这种变化是否与泛化能力提升相关？
• RQ5 ALFA 是否能在无需领域特定调优的情况下，跨多种领域（如 miniImageNet 和 CUB）实现泛化？

主要发现

• 即使从随机初始化开始，ALFA 的少样本分类准确率也优于 MAML，表明自适应超参数调节能与良好初始化具有同等重要性。
• 在 miniImageNet 上进行 5 类 1 样本分类时，ALFA 从随机初始化出发的 top-1 准确率达到 78.4%，优于标准 MAML 的 76.2%。
• 在少样本回归任务中，ALFA 在所有样本设置（5、10、20 样本）下将均方误差（MSE）降低最多达 30%，在 3 层网络上 20 样本设置下的 MSE 为 0.33±0.06。
• 生成的超参数（学习率和权重衰减）在内循环步骤和网络层之间动态变化，表明实现了有效的任务特定适应。
• ALFA 在不同领域（如 miniImageNet 和 CUB）中均保持一致的性能增益，表现出对领域偏移的鲁棒性。
• 将 ALFA 与 MAML 结合可进一步提升性能，在 miniImageNet 上达到 81.1% 的准确率，表明改进的更新规则与初始化之间具有互补优势。