[论文解读] Meta-learning autoencoders for few-shot prediction

Tailin Wu, John Peurifoy+2 more|arXiv (Cornell University)|Jul 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 12

一句话总结

该论文提出元学习自编码器（MeLA），一种通过元识别模型将少样本示例提炼为低维模型代码，并由元生成模型据此合成特定任务网络参数的框架。MeLA在未见过的任务上，以零次或极少梯度更新，显著优于微调基线模型和MAML等最先进元学习方法，测试损失更低，同时支持影响性检测与主动学习以优化数据采集。

ABSTRACT

Compared to humans, machine learning models generally require significantly more training examples and fail to extrapolate from experience to solve previously unseen challenges. To help close this performance gap, we augment single-task neural networks with a meta-recognition model which learns a succinct model code via its autoencoder structure, using just a few informative examples. The model code is then employed by a meta-generative model to construct parameters for the task-specific model. We demonstrate that for previously unseen tasks, without additional training, this Meta-Learning Autoencoder (MeLA) framework can build models that closely match the true underlying models, with loss significantly lower than given by fine-tuned baseline networks, and performance that compares favorably with state-of-the-art meta-learning algorithms. MeLA also adds the ability to identify influential training examples and predict which additional data will be most valuable to acquire to improve model prediction.

研究动机与目标

• 弥合人类与机器学习模型在少样本与元学习场景下的泛化差距。
• 在极少样本下实现对未见任务的快速适应，无需微调。
• 赋予模型识别关键训练样本并主动请求最具信息量数据以提升预测性能的能力。
• 学习一个在回归任务中能泛化于多样化函数关系的低维潜在代码。

提出的方法

• MeLA将预训练的单任务网络与元识别模型结合，后者将少量输入-输出示例编码为低维模型代码向量。
• 元生成模型将该模型代码解码为主预测网络的任务特定参数（权重与偏置）。
• 元识别与元生成模型通过重建目标端到端联合训练，使系统能够学习到解耦且有意义的函数映射潜在空间。
• 该框架在元识别模型中采用自编码器结构，将特定任务数据压缩为紧凑且可泛化的代码。
• 元生成模型采用相同架构，将代码映射为任务特定模型参数，实现对未见任务的插值与外推。
• 通过测量单个训练样本对模型代码的影响，实现影响性识别，支持数据采集的主动学习。

实验结果

研究问题

• RQ1 元学习框架能否在不进行微调的情况下，仅凭少量示例生成准确的任务特定模型？
• RQ2 元识别模型学习到的模型代码能否泛化至训练分布之外的未见函数关系？
• RQ3 MeLA能否识别出对模型构建最具影响力的训练样本？
• RQ4 MeLA能否主动请求最具信息量的新样本以提升预测性能？

主要发现

• 在未见任务上，MeLA的测试损失显著低于原始单任务模型与MAML，即使在零次梯度更新下也表现更优。
• 在小球弹跳环境中，MeLA在0次与5次梯度更新下均优于预训练模型与MAML，其预测轨迹与真实轨迹的平均欧氏距离持续更低。
• MeLA正确识别出多边形墙壁的顶点为最具影响力的样本，与几何直觉一致，证明了有效的影响性检测能力。
• 在视频预测任务中，MeLA的预测精度接近拥有墙壁几何信息的“理想模型”（oracle model），表明其在高维输入下具备强大的泛化能力。
• MeLA的主动学习能力可使其请求最大程度提升模型性能的数据，展现出交互式学习潜力。
• MeLA学习到的模型代码支持在函数关系连续体上的插值与外推，表明其具备稳健的泛化能力。