[论文解读] Active Inference in String Diagrams: A Categorical Account of Predictive Processing and Free Energy

Sean Tull, Johannes Kleiner+1 more|arXiv (Cornell University)|Aug 1, 2023

Philosophy and History of Science被引用 5

一句话总结

本文使用具有复制和丢弃能力的幺半群范畴中的弦图，提出了一种预测处理与主动推理的范畴化、图示化表述。它通过自由能最小化，实现了对主动推理公式的完全图形化推导，并建立了变分自由能的组合性质，从而支持在系统各层次上的分层应用。

ABSTRACT

We present a categorical formulation of the cognitive frameworks of Predictive Processing and Active Inference, expressed in terms of string diagrams interpreted in a monoidal category with copying and discarding. This includes diagrammatic accounts of generative models, Bayesian updating, perception, planning, active inference, and free energy. In particular we present a diagrammatic derivation of the formula for active inference via free energy minimisation, and establish a compositionality property for free energy, allowing free energy to be applied at all levels of an agent's generative model. Aside from aiming to provide a helpful graphical language for those familiar with active inference, we conversely hope that this article may provide a concise formulation and introduction to the framework.

研究动机与目标

• 提供一种概念清晰、组合性且图形化的预测处理与主动推理范畴化形式化，基于范畴论。
• 解决主动推理中贝叶斯更新、感知、规划与自由能最小化缺乏正式图示处理的问题。
• 证明自由能最小化在分层生成模型中具有组合性质，从而支持在所有系统层次上的应用。
• 引入开放生成模型与变分自由能，支持模块化推理。
• 弥合主动推理与cd-范畴、马尔可夫范畴等范畴框架之间的鸿沟，为认知科学与人工智能提供一种新语言。

提出的方法

• 在cd-范畴（如有限离散系统的MatR+）中，将生成模型、感知与规划形式化为弦图。
• 使用弦图表示贝叶斯更新，包括通过Jeffrey与Pearl更新的软观测，以及变分自由能（VFE）更新。
• 通过组合感知与规划图的纯图形化方式推导主动推理公式，避免传统概率计算。
• 引入带输入的开放生成模型，以支持更大模型的模块化、分层组合。
• 为开放模型定义变分自由能，并证明其组合性：全局VFE最小化可归约为子模型中的局部最小化。
• 利用cd-范畴的结构，确保概率推理（包括条件化与边缘化）完全为图形化且具有组合性。

实验结果

研究问题

• RQ1 如何在范畴框架中，使用弦图完全形式化主动推理与自由能最小化？
• RQ2 能否仅从生成模型的高层结构出发，通过纯图形化方式推导出标准主动推理公式？
• RQ3 当应用于分层或模块化生成模型时，自由能最小化是否表现出组合性质？
• RQ4 软观测与不同形式的贝叶斯更新（Jeffrey、Pearl、VFE）如何融入图示范畴框架？
• RQ5 范畴化与组合性视角为被动推理带来了哪些新见解，特别是在意识与因果推理方面的关联？

主要发现

• 通过弦图组合实现了主动推理公式的完全图形化推导，为标准结果提供了透明且原则性的解释。
• 本文确立了变分自由能（VFE）的组合性质：一个系统可通过在每个子模型中局部最小化VFE来实现全局VFE的最小化。
• 正式引入了带输入的开放生成模型，支持复杂模型的模块化构建，并支持分层推理。
• 该框架自然容纳软观测与多种贝叶斯更新形式（Jeffrey、Pearl、VFE），并证明VFE更新与组合性兼容。
• 范畴方法为感知、规划与推理提供了统一的高层语言，具有在人工智能与认知科学中集成的潜力。
• 研究结果为将该框架扩展至连续设置、消息传递算法以及通过干预实现因果推理奠定了基础。