[论文解读] Meta-trained agents implement Bayes-optimal agents

Vladimir Mikulik, Grégoire Delétang+5 more|arXiv (Cornell University)|Oct 21, 2020

Data Stream Mining Techniques参考文献 61被引用 24

一句话总结

本文通过计算模拟实证验证了元训练的RNN智能体在可处理的预测与老虎机任务上收敛至贝叶斯最优行为，通过计算模拟展示了行为与结构上的等价性。关键发现是，元学习智能体通过嵌入的状态机追踪充分统计量，从而实现贝叶斯最优策略，表明元学习是贝叶斯推断的一种实用数值近似。

ABSTRACT

Memory-based meta-learning is a powerful technique to build agents that adapt fast to any task within a target distribution. A previous theoretical study has argued that this remarkable performance is because the meta-training protocol incentivises agents to behave Bayes-optimally. We empirically investigate this claim on a number of prediction and bandit tasks. Inspired by ideas from theoretical computer science, we show that meta-learned and Bayes-optimal agents not only behave alike, but they even share a similar computational structure, in the sense that one agent system can approximately simulate the other. Furthermore, we show that Bayes-optimal agents are fixed points of the meta-learning dynamics. Our results suggest that memory-based meta-learning might serve as a general technique for numerically approximating Bayes-optimal agents - that is, even for task distributions for which we currently don't possess tractable models.

研究动机与目标

• 通过实证方法检验元训练智能体是否如理论所声称的那样实现贝叶斯最优行为。
• 通过基于模拟的等价性比较元学习智能体与贝叶斯最优智能体的计算结构。
• 确定贝叶斯最优策略是否为元学习动态的不动点。
• 评估元学习智能体是否通过记忆中编码的充分统计量来表示任务，类似于贝叶斯更新。
• 建立一种基于结构模拟的智能体系统比较方法，使复杂智能体可通过更简单、已知的模型进行分析。

提出的方法

• 作者采用理论计算机科学中的基于模拟的方法，在计算层面比较智能体，通过评估一个智能体是否可近似模拟另一个智能体。
• 他们使用基于记忆的元学习方法（采用LSTM）在具有已知贝叶斯最优解的预测与老虎机任务上训练RNN元学习智能体。
• 通过提取状态转移与记忆动态，将元学习智能体的计算结构分析为状态机。
• 将贝叶斯最优智能体建模为状态机，其通过维持充分统计量实现不确定性下的最优决策。
• 通过比较元学习智能体与贝叶斯最优智能体在各类任务中的预测与行为，评估其行为相似性。
• 通过测量一个智能体系统的状态动态对另一智能体系统状态动态的模拟程度，量化其结构等价性。

实验结果

研究问题

• RQ1 在具有已知最优解的任务上，元学习智能体是否表现出与贝叶斯最优智能体相同的行为？
• RQ2 贝叶斯最优策略是否为元学习训练动态的不动点？
• RQ3 元学习智能体是否在其记忆动态中编码了与贝叶斯最优智能体相似的任务相关充分统计量？
• RQ4 贝叶斯最优智能体的计算结构能否近似模拟元学习智能体的计算结构？
• RQ5 在缺乏显式贝叶斯架构的情况下，元学习智能体在内部在多大程度上实现了贝叶斯推断？

主要发现

• 在多个预测与老虎机任务中，元学习智能体的预测与行为与贝叶斯最优智能体几乎无法区分。
• 在元训练过程中，智能体的策略收敛至贝叶斯最优解，表明贝叶斯最优策略是学习动态的不动点。
• 元学习智能体的内部记忆动态对应于编码过往经验充分统计量的状态机，从而实现最优决策。
• 元学习智能体的计算结构可被贝叶斯最优智能体近似模拟，反之亦然，证实了结构等价性。
• 该模拟方法成功识别出元学习智能体与贝叶斯最优智能体内部表征之间的对应关系，表明其具有共享的计算机制。
• 结果支持如下观点：即使在缺乏可处理解析模型的情况下，基于记忆的元学习仍可作为贝叶斯最优推断的一般性数值近似。