[论文解读] Meta-learners' learning dynamics are unlike learners'

Neil C. Rabinowitz|arXiv (Cornell University)|May 3, 2019

Machine Learning and Data Classification参考文献 13被引用 8

一句话总结

本文表明，元学习LSTM模型（元学习者）与标准深度学习和强化学习模型（学习者）相比，展现出根本不同的学习动态。标准模型以分阶段、分层的方式揭示任务结构，而元学习者则同时掌握所有结构成分——这与贝叶斯最优推断一致，原因在于元训练期间嵌入的先验知识。

ABSTRACT

Meta-learning is a tool that allows us to build sample-efficient learning systems. Here we show that, once meta-trained, LSTM Meta-Learners aren't just faster learners than their sample-inefficient deep learning (DL) and reinforcement learning (RL) brethren, but that they actually pursue fundamentally different learning trajectories. We study their learning dynamics on three sets of structured tasks for which the corresponding learning dynamics of DL and RL systems have been previously described: linear regression (Saxe et al., 2013), nonlinear regression (Rahaman et al., 2018; Xu et al., 2018), and contextual bandits (Schaul et al., 2019). In each case, while sample-inefficient DL and RL Learners uncover the task structure in a staggered manner, meta-trained LSTM Meta-Learners uncover almost all task structure concurrently, congruent with the patterns expected from Bayes-optimal inference algorithms. This has implications for research areas wherever the learning behaviour itself is of interest, such as safety, curriculum design, and human-in-the-loop machine learning.

研究动机与目标

• 探究元学习模型是否遵循与标准深度学习和强化学习模型相同的训练轨迹。
• 确定样本高效的元学习者是否以与样本低效学习者根本不同的顺序学习任务结构。
• 探讨元学习如何在样本效率之外，塑造神经网络的内环学习动态。
• 评估元学习者的学习动态是否反映贝叶斯最优推断模式，尤其是在结构化任务中。
• 为安全性和课程设计提供关于元学习与非元学习模型在早期训练中行为差异的洞见。

提出的方法

• 元学习者被实现为通过元学习（外环）训练的LSTM，以在内环中快速适应新任务。
• 学习者为标准深度网络（MLP、线性模型）或使用SGD/Adam在单个任务上训练的强化学习智能体，不进行元训练。
• 使用三种结构化任务：线性回归（Saxe 等，2013年）、非线性回归（Rahaman 等，2018年；Xu 等，2018年），以及上下文Bandit（Schaul 等，2019年）。
• 通过测量在内环适应过程中不同结构成分（如奇异模式、傅里叶模式、动作价值结构）被捕捉的速度，分析学习动态。
• 外环在任务分布上训练元学习者，嵌入先验知识，从而塑造内环学习的进行方式。
• 在受控实验中，使用相同架构和超参数比较元学习者与学习者，以隔离元训练的影响。

实验结果

研究问题

• RQ1 在内环适应过程中，元学习者是否以与标准学习者相同的顺序学习任务结构？
• RQ2 元学习者的学习动态与结构化任务中贝叶斯最优推断算法相比如何？
• RQ3 元学习者的学习轨迹在多大程度上反映了元训练期间嵌入的先验知识？
• RQ4 相同的网络架构（如LSTM）在用作元学习者与标准学习者时，是否会展现出不同的学习动态？
• RQ5 这些不同的动态对安全性、课程设计以及人机协同机器学习有何影响？

主要发现

• 元学习者同时揭示所有任务结构，而学习者则以分阶段、分层的方式逐步揭示结构。
• 元学习者的学习动态与贝叶斯最优推断算法的预期动态高度一致，表明其利用了元训练中获得的强大归纳偏置。
• 即使架构和超参数相同（如基于LSTM的学习者），元学习者仍表现出独特学习动态，证明该效应源于元训练，而非架构本身。
• 在任务组件分布的缩放版本上训练的元学习者，其学习动态发生偏移但整体性质保持一致，证实学习轨迹由元学习先验塑造。
• 在非线性回归任务中，元学习者在傅里叶模式K=3至K=6之间具有通带时，无法学习低频分量，表明元学习先验可能抑制某些结构成分。
• 元学习者内环学习动态并非学习者动态的简单加速版本；它们代表了结构获取方式上质的不同的归纳偏置。