[论文解读] A Minimal Active Inference Agent

Simon McGregor, Manuel Baltieri+1 more|arXiv (Cornell University)|Mar 13, 2015

Computability, Logic, AI Algorithms参考文献 39被引用 5

一句话总结

本文提出了一种极简的主动推断智能体，通过在一维离散世界中最小化信息自由能来实现感知与行动。通过将信念与意图统一为‘期望’，该智能体通过在变分自由能目标上进行梯度下降，平衡信念更新与环境行动，展示了感知与行动如何从单一的惊喜最小化原则中涌现出来。

ABSTRACT

Research on the so-called "free-energy principle'' (FEP) in cognitive neuroscience is becoming increasingly high-profile. To date, introductions to this theory have proved difficult for many readers to follow, but it depends mainly upon two relatively simple ideas: firstly that normative or teleological values can be expressed as probability distributions (active inference), and secondly that approximate Bayesian reasoning can be effectively performed by gradient descent on model parameters (the free-energy principle). The notion of active inference is of great interest for a number of disciplines including cognitive science and artificial intelligence, as well as cognitive neuroscience, and deserves to be more widely known. This paper attempts to provide an accessible introduction to active inference and informational free-energy, for readers from a range of scientific backgrounds. In this work introduce an agent-based model with an agent trying to make predictions about its position in a one-dimensional discretized world using methods from the FEP.

研究动机与目标

• 为认知科学、神经科学和人工智能领域的研究人员提供一种易于理解的、基于智能体的主动推断与自由能原理入门介绍。
• 通过基于简单离散世界智能体模型的形式化，澄清主动推断的理论框架，避免哲学上的过度延伸。
• 展示行动与感知如何在自由能最小化下实现统一，且不预先定义信念与意图之间的区别。
• 澄清该框架的常见误解，例如将‘惊喜’等同于心理上的惊讶，或声称该理论不可证伪。
• 指出局限性，包括对遍历性的依赖，以及缺乏对智能行为中期望如何产生的机制性解释。

提出的方法

• 该智能体在具有有限状态空间的一维、时间离散化世界中运行，将感官输入与行动建模为概率变量。
• 它使用生成模型来表示其对世界的内部信念，该模型由状态上的概率分布参数化。
• 该智能体通过梯度下降最小化变分自由能，从而驱动信念更新（推断）与行动选择（控制）。
• 自由能泛函源自近似后验与真实后验之间的Kullback-Leibler散度，同时包含感官预测误差与模型复杂度。
• 该框架将‘期望’——信念与意图的统一概念——视为对未来状态的概率预测，而行动则是期望与现实之间差异的物理实现。
• 该模型通过计算实现，以模拟智能体行为，展示了感知与行动如何通过自由能最小化共同演化。

实验结果

研究问题

• RQ1 如何在最小化、基于智能体的设定中形式化主动推断，以使非专业研究人员更容易理解该理论？
• RQ2 在不预先定义其区别的前提下，感知与行动在多大程度上可以通过单一的自由能最小化原则实现统一？
• RQ3 将‘惊喜’解释为信息上的惊讶而非心理情绪，其含义是什么？
• RQ4 遍历性假设如何影响自由能最小化在生物与人工智能体中的有效性？
• RQ5 自由能原理是否可被证伪，还是因其解释力过强而无法进行科学检验？

主要发现

• 该智能体通过最小化自由能，成功维持了对环境的稳定内部模型，展示了无需显式奖励信号的连贯感知与行动。
• 该框架通过单一优化过程统一了信念更新与行动选择，表明两者均由同一目标驱动：减少期望与感官输入之间的差异。
• 该模型揭示了‘期望’——信念与意图的统一概念——可被视作概率预测，而行动则是对未来状态预测的物理实现。
• 虽然遍历性假设在数学上方便，但在生物系统中存在问题，因为现实世界的感官动态很少是时间遍历的。
• 该框架无法解释智能期望最初是如何产生的，表明在主动推断智能体中，智能起源的机制性解释仍存在空白。
• 由于其解释的广泛性，该理论可能不可证伪，尽管其形式上优雅，但引发了对其科学可检验性的担忧。