[论文解读] The free energy principle made simpler but not too simple

Karl Friston, Lancelot Da Costa+5 more|arXiv (Cornell University)|Jan 17, 2022

Advanced Thermodynamics and Statistical Mechanics被引用 9

一句话总结

本文通过从随机动力系统出发，利用朗之万方程推导自由能原理（FEP），将其与贝叶斯推断和变分原理联系起来，提供了一种简洁而严谨的阐述。它将FEP确立为自组织的规范性框架，以最优贝叶斯推断为依据，将感知与行动统一为积极推断，从而构建了一套以最小化变分自由能为基础的感性物理理论。

ABSTRACT

This paper provides a concise description of the free energy principle, starting from a formulation of random dynamical systems in terms of a Langevin equation and ending with a Bayesian mechanics that can be read as a physics of sentience. It rehearses the key steps using standard results from statistical physics. These steps entail (i) establishing a particular partition of states based upon conditional independencies that inherit from sparsely coupled dynamics, (ii) unpacking the implications of this partition in terms of Bayesian inference and (iii) describing the paths of particular states with a variational principle of least action. Teleologically, the free energy principle offers a normative account of self-organisation in terms of optimal Bayesian design and decision-making, in the sense of maximising marginal likelihood or Bayesian model evidence. In summary, starting from a description of the world in terms of random dynamical systems, we end up with a description of self-organisation as sentient behaviour that can be interpreted as self-evidencing; namely, self-assembly, autopoiesis or active inference.

研究动机与目标

• 从统计物理和随机动力学出发，提供一种简化但技术上可靠的自由能原理推导。
• 阐明自由能原理如何从稀疏耦合系统中的条件独立性结构中自然浮现。
• 将该原理与贝叶斯推断及变分自由能最小化联系起来，作为自组织的规范性解释。
• 将自组织框架化为积极推断，从而建立基于贝叶斯力学的感性物理理论。

提出的方法

• 从随机动力系统的朗之万方程表述出发，推导自由能原理。
• 基于动力学中继承自稀疏耦合的条件独立性，识别一种状态划分。
• 应用统计物理中的标准结果，以贝叶斯推断的视角解析该划分的含义。
• 利用最小作用量的变分原理，描述特定状态的演化路径。
• 将自由能表述为变分自由能，其可作为模型证据的上界，从而实现最优推断。
• 将所得动力学解释为自证性、自产性或积极推断过程。

实验结果

研究问题

• RQ1 如何通过标准统计物理方法，从随机动力系统出发推导自由能原理？
• RQ2 条件独立性在状态空间划分中起到什么作用，以实现贝叶斯推断？
• RQ3 最小化变分自由能如何导致动力系统中自组织的最优实现？
• RQ4 在何种意义上，自组织可被解释为积极推断或自证性过程？
• RQ5 自由能原理如何在单一规范性框架下统一感知、行动与学习？

主要发现

• 自由能原理自然地源于由朗之万方程描述的稀疏马尔可夫动力系统结构。
• 动力学中的条件独立性导致联合概率分布的因子分解，从而支持贝叶斯推断。
• 变分自由能为边缘似然（模型证据）提供了上界，从而支持最优模型选择。
• 最小化变分自由能对应于积极推断，使感知与行动在单一变分原理下统一。
• 该框架支持自组织作为自证性、自产性或有感行为的规范性解释。
• 所得动力学与贝叶斯力学一致，为基于统计推断的感性物理理论提供了基础。