[论文解读] Global Convergence and Induced Kernels of Gradient-Based Meta-Learning with Neural Nets.

Haoxiang Wang, Ruoyu Sun+1 more|arXiv (Cornell University)|Jun 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 13

一句话总结

本文为过参数化的深度神经网络（DNNs）的基于梯度的元学习（GBML）建立了全局收敛性，证明其以线性速率收敛至全局最优解。此外，本文表明GBML在功能上等价于一种从过往任务中转移经验的梯度下降方法，从而提出了一种新型基于核的元学习方法，在元训练任务数量有限的情况下，该方法在Omniglot数据集上的表现优于标准DNN。

ABSTRACT

Gradient-based meta-learning (GBML) with deep neural nets (DNNs) has become a popular approach for few-shot learning. However, due to the non-convexity of DNNs and the complex bi-level optimization in GBML, the theoretical properties of GBML with DNNs remain largely unknown. In this paper, we first develop a novel theoretical analysis to answer the following questions: Does GBML with DNNs have global convergence guarantees? We provide a positive answer to this question by proving that GBML with over-parameterized DNNs is guaranteed to converge to global optima at a linear rate. The second question we aim to address is: How does GBML achieve fast adaption to new tasks with experience on past similar tasks? To answer it, we prove that GBML is equivalent to a functional gradient descent operation that explicitly propagates experience from the past tasks to new ones. Finally, inspired by our theoretical analysis, we develop a new kernel-based meta-learning approach. We show that the proposed approach outperforms GBML with standard DNNs on the Omniglot dataset when the number of past tasks for meta-training is small. The code is available at this https URL AI-secure/Meta-Neural-Kernel .

研究动机与目标

• 为使用过参数化深度神经网络（DNNs）的基于梯度的元学习（GBML）建立全局收敛性保证。
• 通过分析过往任务经验转移的功能机制，解释GBML如何实现对新任务的快速适应。
• 基于理论洞察，设计一种新型基于核的元学习方法，旨在在元训练数据稀缺时提升性能。

提出的方法

• 通过过参数化DNN对GBML中的双层优化问题进行理论分析，证明其以线性速率实现全局收敛。
• 推导出一种等价的函数梯度下降形式，显式建模了从过往任务到新任务的经验传播。
• 通过利用理论分析中识别出的功能等价性，设计一种新型基于核的元学习方法。
• 实现所提出的基于核的方法，并在低少样本元训练设置下的Omniglot数据集上进行评估。
• 利用过参数化确保收敛性在真实DNN训练动态下依然成立。
• 将基于核的方法与标准DNN-based GBML进行对比，验证在少量过往任务下的性能提升。

实验结果

研究问题

• RQ1 基于梯度的元学习（GBML）在使用过参数化深度神经网络（DNNs）时，是否能全局收敛至全局最优解，收敛速率如何？
• RQ2 GBML如何通过利用过往任务的经验来实现对新任务的快速适应？
• RQ3 能否将对GBML作为函数梯度下降操作的理论理解，用于设计更高效的基于核的元学习方法？

主要发现

• 使用过参数化DNN的GBML被保证以线性速率收敛至全局最优解，解决了非凸元学习设置中收敛性这一关键开放问题。
• GBML在功能上等价于一种显式传播过往任务知识的梯度下降操作，解释了其快速适应能力的成因。
• 当用于元训练的过往任务数量较少时，所提出的基于核的元学习方法在Omniglot数据集上优于标准DNN-based GBML。
• 理论分析揭示，元学习器的更新规则实际上执行了函数梯度下降，为GBML的学习动态提供了新的解释视角。
• 在低数据元训练条件下，基于核的方法在少样本泛化性能上优于DNN-based GBML，验证了理论洞察的实际效用。