[论文解读] Adaptive Gradient-Based Meta-Learning Methods

Mikhail Khodak, Maria-Florina Balcan+1 more|arXiv (Cornell University)|Jun 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用 22

一句话总结

本文提出ARUBA，一种基于自适应梯度元学习的理论框架，通过遗憾上界分析实现任务相似性的在线学习、动态环境适应以及几何结构感知。该方法在少样本学习和联邦学习中提升了元测试性能，通过学习任务相似性与逐坐标学习率，无需超参数调优。

ABSTRACT

We build a theoretical framework for designing and understanding practical meta-learning methods that integrates sophisticated formalizations of task-similarity with the extensive literature on online convex optimization and sequential prediction algorithms. Our approach enables the task-similarity to be learned adaptively, provides sharper transfer-risk bounds in the setting of statistical learning-to-learn, and leads to straightforward derivations of average-case regret bounds for efficient algorithms in settings where the task-environment changes dynamically or the tasks share a certain geometric structure. We use our theory to modify several popular meta-learning algorithms and improve their meta-test-time performance on standard problems in few-shot learning and federated learning.

研究动机与目标

• 解决先前元学习方法依赖固定或预设任务相似性度量的局限性。
• 构建统一的理论框架，推导出具有更紧泛化界和动态适应能力的元学习算法。
• 实现元学习中学习率和正则化项的自动、基于梯度的自适应调整，无需人工调参。
• 通过学习任务相似性和任务间几何结构，提升少样本学习和联邦学习中的元测试性能。
• 在在线到批量转换设置下，为元学习提供新的统计迁移风险界，并具备高概率保证。

提出的方法

• 提出平均遗憾上界分析（ARUBA），将元学习视为对依赖于任务数据和元初始化的遗憾上界进行在线学习。
• 使用数据相关的遗憾上界作为代理损失，通过带马氏距离正则化的在线镜像下降法推导出自适应元优化算法。
• 提出ARUBA++作为变体，通过将正则化器适配到任务参数空间的几何结构，实现逐坐标学习率的学习。
• 将ARUBA应用于现有GBML方法（如MAML和Reptile）以及FedAvg，实现元初始化和学习率的自动适应。
• 利用在线到批量转换推导出统计元学习中新的高概率迁移风险界，优于先前工作。
• 使用基于梯度的优化方法实时学习任务相似性参数（如ε/ζ）和正则化系数，消除对超参数调优的需求。

实验结果

研究问题

• RQ1 元学习算法如何设计为在训练过程中自适应地学习任务相似性，而无需先验知识？
• RQ2 元学习能否在最优元初始化随时间动态变化的动态环境中实现理论支撑？
• RQ3 元学习方法如何利用任务参数空间的几何结构，如共享特征提取器和任务特定头？
• RQ4 当任务相似性已知或被估计时，基于梯度的元学习的统计迁移风险界是什么？
• RQ5 能否在元学习中自动学习自适应学习率，特别是在MAML、Reptile和FedAvg中，以提升元测试性能？

主要发现

• ARUBA++在5-way Omniglot（1-shot：准确率99.46%）和20-way Omniglot（1-shot：准确率97.49%）上达到最先进性能，且无需调整学习率。
• 在Mini-ImageNet上，ARUBA++在5-shot 5-way学习中达到65.89%的准确率，优于Reptile（65.99%）和Meta-SGD（64.03%）在相同设置下的表现。
• ARUBA训练模型中各层的最终学习率呈现逐层自适应，早期层学习率较高，后期层学习率较低，反映出任务的几何特性。
• 在Shakespeare数据集的联邦学习中，ARUBA学习到一种逐层自适应的学习率，显著提升了元测试性能，优于标准FedAvg。
• ARUBA提供的迁移风险界比先前工作更紧，当任务相似性已知时，其收敛速度更快。
• 该方法消除了对学习率和正则化项的人工超参数调优需求，其在多个基准测试中均表现出一致的优异性能。