[论文解读] Active Tree Search in Large POMDPs.

Domenico Maisto, Francesco Gregoretti+2 more|arXiv (Cornell University)|Mar 25, 2021

Memory and Neural Mechanisms参考文献 93被引用 9

一句话总结

本文提出了一种名为主动树搜索（Active Tree Search）的新方法，将神经科学中的主动推理（Active Inference）与人工智能中的蒙特卡洛树搜索（Monte-Carlo tree search）相结合，以实现在大规模部分可观察马尔可夫决策过程（POMDPs）中的可扩展、生物上合理的规划。通过整合主动推理在探索-利用平衡方面的原则性方法与蒙特卡洛树搜索的可扩展性，该方法成功解决了诸如二叉树和Rocksample等具有挑战性的POMDP问题，同时模拟了海马体和前额叶皮层等脑区的神经生理响应。

ABSTRACT

Model-based planning and prospection are widely studied in both cognitive neuroscience and artificial intelligence (AI), but from different perspectives - and with different desiderata in mind (biological realism versus scalability) that are difficult to reconcile. Here, we introduce a novel method to plan in large POMDPs - Active Tree Search - that combines the normative character and biological realism of a leading planning theory in neuroscience (Active Inference) and the scalability of Monte-Carlo methods in AI. This unification is beneficial for both approaches. On the one hand, using Monte-Carlo planning permits scaling up the biologically grounded approach of Active Inference to large-scale problems. On the other hand, the theory of Active Inference provides a principled solution to the balance of exploration and exploitation, which is often addressed heuristically in Monte-Carlo methods. Our simulations show that Active Tree Search successfully navigates binary trees that are challenging for sampling-based methods, problems that require adaptive exploration, and the large POMDP problem Rocksample. Furthermore, we illustrate how Active Tree Search can be used to simulate neurophysiological responses (e.g., in the hippocampus and prefrontal cortex) of humans and other animals that contain large planning problems. These simulations show that Active Tree Search is a principled realisation of neuroscientific and AI theories of planning, which offers both biological realism and scalability.

研究动机与目标

• 解决将生物基础的规划理论扩展到大规模POMDPs的挑战，同时保持其规范性和神经科学有效性。
• 通过引入主动推理的原则，克服传统蒙特卡洛规划方法中对探索-利用权衡的启发式处理。
• 实现在复杂决策过程中海马体和前额叶皮层等脑区的神经生理响应模拟。
• 开发一个统一框架，结合主动推理的生物真实性与蒙特卡洛树搜索的计算可扩展性。

提出的方法

• 主动树搜索将主动推理中的自由能原理整合到蒙特卡洛树搜索框架中，以指导动作选择和信念更新。
• 通过轨迹采样估计期望自由能，实现在部分可观察环境下的高效规划。
• 该方法通过最小化变分自由能动态平衡探索与利用，其中自由能量化了模型证据与预测误差。
• 它维护一个关于可能状态与动作的信念树，基于期望自由能和不确定性减少来更新节点值。
• 该算法采用树搜索结构，其中每个节点代表一个信念状态与动作，并通过自由能估计进行反向传播。
• 通过将内部信念状态和动作策略映射到海马体和前额叶皮层中观察到的神经活动模式，生成神经生理学模拟。

实验结果

研究问题

• RQ1 能否通过蒙特卡洛树搜索有效将主动推理原则扩展到大规模POMDPs？
• RQ2 在解决如二叉树等复杂自适应探索问题时，主动树搜索与基于采样的方法相比表现如何？
• RQ3 主动树搜索能否在决策过程中模拟海马体和前额叶皮层的神经生理响应？
• RQ4 将主动推理与蒙特卡洛规划相结合，是否能带来比启发式方法更原则性的探索？
• RQ5 与现有方法相比，主动树搜索在Rocksample等基准POMDP问题上的表现如何？

主要发现

• 主动树搜索成功导航了传统基于采样的方法难以处理的二叉树问题，因其对自适应探索的需求。
• 该方法通过自由能最小化有效平衡探索与利用，在Rocksample POMDP问题上实现了卓越性能。
• 模拟结果表明，主动树搜索再现了在规划任务中观察到的海马体和前额叶皮层的神经生理响应模式。
• 将主动推理与蒙特卡洛规划相结合，实现了在大规模POMDPs中的可扩展、生物上合理的规划。
• 主动树搜索为探索-利用权衡提供了原则性解决方案，避免了标准蒙特卡洛方法中常见的启发式调整。
• 该方法在高维、部分可观察环境中仍保持了高水平的规划效率与准确性。