[论文解读] MAML and ANIL Provably Learn Representations

Liam Collins, Aryan Mokhtari+2 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文证明了MAML和ANIL这两种主流的基于梯度的元学习方法，在多任务线性设定下，可证明地学习到共享且表达性强的表征。通过适应最后的输出层，它们以指数级速度恢复了真实表征，利用任务多样性在所有感兴趣的维度上提升了表征学习效果。

ABSTRACT

Recent empirical evidence has driven conventional wisdom to believe that gradient-based meta-learning (GBML) methods perform well at few-shot learning because they learn an expressive data representation that is shared across tasks. However, the mechanics of GBML have remained largely mysterious from a theoretical perspective. In this paper, we prove that two well-known GBML methods, MAML and ANIL, as well as their first-order approximations, are capable of learning common representation among a set of given tasks. Specifically, in the well-known multi-task linear representation learning setting, they are able to recover the ground-truth representation at an exponentially fast rate. Moreover, our analysis illuminates that the driving force causing MAML and ANIL to recover the underlying representation is that they adapt the final layer of their model, which harnesses the underlying task diversity to improve the representation in all directions of interest. To the best of our knowledge, these are the first results to show that MAML and/or ANIL learn expressive representations and to rigorously explain why they do so.

研究动机与目标

• 从理论上解释为何MAML和ANIL在少量样本学习中表现优异，尽管数据有限。
• 建立这些方法可证明地在任务间学习到共享且表达性强的表征。
• 分析最终层适应在基于梯度的元学习方法中驱动表征学习的作用。
• 为MAML和ANIL在线性表征学习框架中提供严格的收敛保证。
• 证明MAML和ANIL的一阶近似方法同样可实现可证明的表征学习。

提出的方法

• 在具有共享底层表征的多任务线性表征学习设定中分析MAML和ANIL。
• 将学习过程建模为对共享表征矩阵和任务特定头权重的优化。
• 在温和假设下，证明MAML和ANIL以指数速率收敛到真实表征。
• 表明关键机制是最终层的适应，其通过捕捉任务特定梯度来优化共享表征。
• 将分析扩展到MAML和ANIL的一阶近似，证明其保留相同的收敛特性。
• 使用优化与矩阵分析的工具，建立收敛速率和表征恢复保证。

实验结果

研究问题

• RQ1 在多任务线性设定下，MAML和ANIL是否可证明地学习到任务间的共享表征？
• RQ2 MAML和ANIL通过何种机制提升表征学习？
• RQ3 MAML和ANIL收敛到真实表征的速度有多快？
• RQ4 MAML和ANIL的一阶近似是否也能实现可证明的表征学习？
• RQ5 为何任务多样性使MAML和ANIL能够学习到更优的表征？

主要发现

• MAML和ANIL在多任务线性设定下可证明地恢复真实共享表征。
• 在标准假设下，收敛到真实表征的速率是指数级的。
• 最终层适应是表征学习的关键驱动力，因为它利用任务多样性来优化共享表征。
• MAML和ANIL的一阶近似同样可实现对真实表征的指数级收敛。
• 理论分析首次为MAML和ANIL为何能学习到表达性强的表征提供了严谨解释。
• 结果表明，MAML和ANIL不仅是经验上的成功，也具有坚实的表征学习理论基础。