[论文解读] Is prioritized sweeping the better episodic control?

Johanni Brea|arXiv (Cornell University)|Nov 20, 2017

Neural dynamics and brain function参考文献 9被引用 4

一句话总结

该论文表明，在确定性和随机环境中，优先级传播（prioritized sweeping）在样本效率方面优于情景控制（episodic control），同时保持其内存和计算需求不变。研究显示，情景控制在确定性树状MDP中等价于一种形式的优先级传播，但优先级传播泛化能力更强且收敛更快，表明其作为连接情景记忆与决策的算法基础，在人工和生物系统中均更优。

ABSTRACT

Episodic control has been proposed as a third approach to reinforcement learning, besides model-free and model-based control, by analogy with the three types of human memory. i.e. episodic, procedural and semantic memory. But the theoretical properties of episodic control are not well investigated. Here I show that in deterministic tree Markov decision processes, episodic control is equivalent to a form of prioritized sweeping in terms of sample efficiency as well as memory and computation demands. For general deterministic and stochastic environments, prioritized sweeping performs better even when memory and computation demands are restricted to be equal to those of episodic control. These results suggest generalizations of prioritized sweeping to partially observable environments, its combined use with function approximation and the search for possible implementations of prioritized sweeping in brains.

研究动机与目标

• 探究优先级传播在样本效率和计算效率方面是否优于情景控制。
• 确定情景控制在特定环境中是否在理论上等价于某种形式的优先级传播。
• 探索将优先级传播推广至部分可观察和随机环境的可行性。
• 考察优先级传播在函数逼近和大脑神经实现中的潜在影响。
• 评估优先级传播是否可作为情景控制在强化学习中更有效且更具泛化能力的替代方案。

提出的方法

• 提出一种优先级传播的变体，即在每个回合结束时重置模型，以匹配情景控制的内存约束。
• 通过优先级备份进行反向搜索，以高效传播价值更新，类似于情景控制从奖励性经验中传播知识的方式。
• 使用优先队列根据其对前驱状态潜在影响的大小选择状态进行价值更新。
• 在表格型环境中（包括确定性和随机树状MDP以及迷宫环境）应用该算法，以进行性能比较。
• 采用共享超参数的Q-learning与优先级传播方法，确保不同方法之间的公平比较。
• 分析模型学习（转移和奖励表）在实现高效价值更新中的作用，与情景控制依赖存储序列的方式形成对比。

实验结果

研究问题

• RQ1 在确定性树状MDP中，情景控制是否在理论上等价于某种形式的优先级传播？
• RQ2 在一般确定性和随机MDP中，优先级传播是否在样本效率方面优于情景控制？
• RQ3 优先级传播能否推广至情景控制可能表现不佳的部分可观察环境中？
• RQ4 优先级传播对函数逼近和大脑神经实现有何影响？
• RQ5 优先级传播能否作为情景记忆驱动决策的生物可实现机制？

主要发现

• 在确定性树状MDP中，情景控制在样本效率、内存使用和计算复杂度方面与特定形式的优先级传播在数学上等价。
• 在一般确定性和随机MDP中，即使两种方法均受限于相同的内存和计算预算，优先级传播在样本效率方面仍显著优于情景控制。
• 所提出的模型重置型优先级传播变体在保持与情景控制相同计算开销的同时，显著提升了学习速度并更快收敛至最优策略。
• 优先级传播依赖模型学习，能够更有效地通过分支状态转移传播价值，而情景控制难以有效利用此类结构。
• 结果表明，优先级传播不仅更具样本效率，而且在具有多个前驱状态的环境中更具泛化能力。
• 本研究识别出优先级传播在海马体尖峰波涟漪中的潜在神经基础，其中新路径的反向重播可能反映了优先级后向规划。