[论文解读] Integrating cognitive map learning and active inference for planning in ambiguous environments

Toon Van de Maele, Bart Dhoedt+2 more|arXiv (Cornell University)|Aug 16, 2023

Cognitive Science and MappingComputer Science被引用 3

一句话总结

该论文将克隆结构认知图（CSCG）用于认知地图学习，并结合主动推理，以实现在模糊空间环境中的不确定性规划。通过利用主动推理基于最小化期望自由能来指导动作选择，该智能体在消除观测混淆方面显著提升了成功率——在T型迷宫中达到100%的成功率，而贪心克隆图智能体仅为56.75%——同时在简单环境中保持了相当的运行速度。

ABSTRACT

Living organisms need to acquire both cognitive maps for learning the structure of the world and planning mechanisms able to deal with the challenges of navigating ambiguous environments. Although significant progress has been made in each of these areas independently, the best way to integrate them is an open research question. In this paper, we propose the integration of a statistical model of cognitive map formation within an active inference agent that supports planning under uncertainty. Specifically, we examine the clone-structured cognitive graph (CSCG) model of cognitive map formation and compare a naive clone graph agent with an active inference-driven clone graph agent, in three spatial navigation scenarios. Our findings demonstrate that while both agents are effective in simple scenarios, the active inference agent is more effective when planning in challenging scenarios, in which sensory observations provide ambiguous information about location.

研究动机与目标

• 解决感官观测模糊或混淆的空间环境中规划的挑战。
• 探究主动推理是否通过实现基于情境的智能体状态消歧，增强基于认知地图的规划能力。
• 在不同导航复杂度下，比较朴素克隆图智能体与基于主动推理的克隆图智能体的性能。
• 评估主动推理是否在信息关键环境中提升成功率和决策质量。
• 证明将CSCG用作主动推理框架中生成模型的可行性，以实现结构化、情境感知的规划。

提出的方法

• 使用克隆结构认知图（CSCG）对动作-观测序列的联合概率进行建模，实现对混淆状态的情境依赖性消歧。
• 通过将CSCG形式化为部分可观察马尔可夫决策过程（POMDP）中的生成模型，应用主动推理。
• 智能体通过最小化期望自由能来选择动作，该方法通过隐藏状态的贝叶斯推断，平衡探索与利用。
• 基于期望自由能采样策略，其依赖于偏好矩阵以及状态转移和观测似然矩阵中编码的先验信念。
• 通过包含隐藏状态、动作、观测以及概率因子（A、B、C、D矩阵）的因子图实现生成模型。
• 系统使用变分推断近似隐藏状态的后验分布，实现在导航过程中的在线信念更新。

(a)

实验结果

研究问题

• RQ1 当与认知地图模型结合时，主动推理是否能提升在模糊空间环境中规划的性能？
• RQ2 在观测存在混淆的环境中，主动推理与贪心规划相比，在成功率和决策效率方面有何差异？
• RQ3 使用主动推理是否增强了智能体在观测具有情境依赖性时对自身状态的消歧能力？
• RQ4 在哪些类型的环境中，主动推理相较于朴素规划策略具有显著优势？
• RQ5 CSCG模型能否作为主动推理框架中空间导航的有效生成模型？

主要发现

• 在T型迷宫环境中，主动推理智能体的成功率达到100%，显著优于克隆图智能体的56.75%（p值 = 6.25×10⁻⁵⁰）。
• 主动推理智能体平均需5步到达目标，比克隆图智能体的4.5步更慢，但这一延迟在信息关键决策中因更高的准确性而合理。
• 在开放房间和迷宫环境中，两种智能体在成功率和到达目标时间方面表现相似，表明主动推理在无歧义环境中无明显劣势。
• 主动推理智能体在模糊场景中表现出更优的状态身份消歧能力，尤其在感官输入不可靠或具有情境依赖性时。
• 将CSCG作为主动推理框架中的生成模型进行集成，可实现情境感知的规划，并通过信念更新与证据收集解决混淆问题。
• 结果证实，主动推理支持更审慎、注重证据收集的决策过程，尤其在错误选择会导致任务终止的环境中。

(b)