[论文解读] Meta-learning of Sequential Strategies

Pedro A. Ortega, Jane X. Wang+22 more|arXiv (Cornell University)|May 8, 2019

Machine Learning and Data Classification参考文献 78被引用 34

一句话总结

该论文回顾基于记忆的元学习用于样本高效的序列预测和决策，并在贝叶斯框架中进行表述，展示学习得到的记忆动态如何实现摊销的贝叶斯更新以接近贝叶斯最优策略。

ABSTRACT

In this report we review memory-based meta-learning as a tool for building sample-efficient strategies that learn from past experience to adapt to any task within a target class. Our goal is to equip the reader with the conceptual foundations of this tool for building new, scalable agents that operate on broad domains. To do so, we present basic algorithmic templates for building near-optimal predictors and reinforcement learners which behave as if they had a probabilistic model that allowed them to efficiently exploit task structure. Furthermore, we recast memory-based meta-learning within a Bayesian framework, showing that the meta-learned strategies are near-optimal because they amortize Bayes-filtered data, where the adaptation is implemented in the memory dynamics as a state-machine of sufficient statistics. Essentially, memory-based meta-learning translates the hard problem of probabilistic sequential inference into a regression problem.

研究动机与目标

• 将基于记忆的元学习定义为在不同任务类别中构建数据高效、具适应性代理的工具。
• 将基于记忆的元学习重新表述在贝叶斯框架中，显示通过摊销的贝叶斯滤波数据实现近似最优。
• 提供实现近似最优预测器和强化学习者的基本算法模板。
• 说明记忆动态与充分统计之间的联系。
• 讨论基于记忆的元学习的可扩展性、实际意义及未来挑战。

提出的方法

• 给出对序列生成器类别的序列预测与决策的贝叶斯表述。
• 显示元学习优化期望损失的蒙特卡洛近似，以近似贝叶斯混合预测器。
• 构建一个基于记忆的回归接口，使预测器将历史映射到下一步预测，同时维持一个编码充分统计的记忆状态。
• 证明元学习得到的函数实现一个状态机，其转移反映过去信息与充分统计。
• 将框架扩展到交互场景，讨论汤普森采样作为一种元学习的策略改进方法。
• 将元学习得到的解与贝叶斯最优性联系起来，并讨论贝叶斯更新的摊销。
• 使用基于记忆的体系结构（如RNNs/LSTMs），通过梯度优化来实现所提出的模板。

实验结果

研究问题

• RQ1 如何将基于记忆的元学习框架为贝叶斯问题，以实现近似最优的序列预测？
• RQ2 记忆动态在对同一任务类别内新任务进行自适应时，编码充分统计的作用是什么？
• RQ3 如何在测试阶段无需显式概率推断即可，使用元学习构建近似最优的预测器和强化学习者？
• RQ4 在序列决策问题中，汤普森采样和贝叶斯最优策略如何从基于记忆的元学习中产生？
• RQ5 将基于记忆的元学习扩展到更广领域的理论与实践意义是什么？

主要发现

• 贝叶斯解释显示，基于记忆的元学习可以摊销贝叶斯滤波数据，将概率序列推断转化为回归问题。
• 元学习得到的策略实现一个记忆驱动的状态机，编码过去的充分统计，从而实现高效适应。
• 在序列预测中，元学习的预测器近似贝叶斯后验预测并实现接近最优的基于压缩的损失。
• 在序列决策中，该框架支持汤普森采样作为自然的元学习探索策略，并与贝叶斯最优控制相关联。
• 该方法为在广泛任务分布下运行的近似最优预测器和强化学习者提供了基本的算法模板。
• 该工作将元学习结果与经典贝叶斯统计联系起来，并讨论可扩展性与未来挑战。