[论文解读] Modeling motor control in continuous-time Active Inference: a survey

Matteo Priorelli, Federico Maggiore+6 more|arXiv (Cornell University)|Oct 8, 2023

Embodied and Extended CognitionNeuroscience被引用 3

一句话总结

本文提出了面向运动控制的连续时间主动推理形式化，通过单一自由能最小化框架统一了目标导向性伸展、主动感知、多感官冲突解决以及决策制定。通过将动作建模为感官结果的预测，并使用微分方程表示生成过程，该方法实现了生物上合理的自适应运动控制，而无需预设代价函数。

ABSTRACT

The way the brain selects and controls actions is still widely debated. Mainstream approaches based on Optimal Control focus on stimulus-response mappings that optimize cost functions. Ideomotor theory and cybernetics propose a different perspective: they suggest that actions are selected and controlled by activating action effects and by continuously matching internal predictions with sensations. Active Inference offers a modern formulation of these ideas, in terms of inferential mechanisms and prediction-error-based control, which can be linked to neural mechanisms of living organisms. This article provides a technical illustration of Active Inference models in continuous time and a brief survey of Active Inference models that solve four kinds of control problems; namely, the control of goal-directed reaching movements, active sensing, the resolution of multisensory conflict during movement and the integration of decision-making and motor control. Crucially, in Active Inference, all these different facets of motor control emerge from the same optimization process - namely, the minimization of Free Energy - and do not require designing separate cost functions. Therefore, Active Inference provides a unitary perspective on various aspects of motor control that can inform both the study of biological control mechanisms and the design of artificial and robotic systems.

研究动机与目标

• 将运动控制的多个方面——目标导向性伸展、主动感知、多感官冲突解决以及决策制定——统一于单一计算框架之下。
• 在连续时间中形式化主动推理，使用微分方程建模隐变量、动作和感官预测的动力学。
• 证明所有运动控制方面均可自然地从自由能最小化中涌现，从而无需手工设计的代价函数。
• 通过将分层预测编码与主动推理模型中的深度神经网络相联系，弥合理论神经科学与实际实现之间的鸿沟。
• 识别关键开放挑战，如精度权重的学习以及在基于深度网络的生成模型中实现局部消息传递。

提出的方法

• 使用随机微分方程在连续时间中形式化主动推理，以建模隐变量和动作的动力学。
• 构建与生成过程结构相匹配的生成模型，其中隐变量通过线性映射与感官观测（如本体感觉、触觉）关联。
• 应用自由能原理，通过变分贝叶斯推断推导控制策略，最小化预测与实际感官输入之间的差异。
• 采用分层结构，其中高层信念表示期望状态（设定点），低层编码运动与感官预测。
• 采用类似TOTE的控制环路，其中预测误差驱动校正动作，实现闭环、反馈驱动的控制。
• 通过允许动作不仅用于达成目标，还用于通过受控探索减少对环境状态的不确定性，实现主动感知的整合。

实验结果

研究问题

• RQ1 如何在连续时间中形式化主动推理，以建模运动控制的动力学？
• RQ2 相同的优化过程——自由能最小化——是否能够统一诸如伸展、主动感知和冲突解决等多样化的运动控制问题？
• RQ3 仅预测近端感官后果（如本体感觉）的生成模型，在未显式表示的情况下，能在多大程度上隐式推断远端环境状态（如物体距离）？
• RQ4 分层预测编码原理在实际主动推理实现中如何与深度神经网络相结合？
• RQ5 当前实现方法在处理精度控制和脑样分层结构中的局部消息传递方面存在哪些局限性？

主要发现

• 连续时间主动推理框架通过最小化预期与实际感官结果之间的预测误差，成功建模了目标导向性伸展。
• 主动感知自然地从同一优化过程中涌现，因为动作被选择以减少对环境状态的不确定性。
• 多感官冲突通过预测误差最小化得到解决，其中冲突的感官输入通过调整对隐变量的信念实现调和。
• 通过在隐变量上共享信念更新，实现了决策与运动控制的整合，从而无需单独的决策与控制模块。
• 仅预测近端感官后果（如触须运动反馈）的生成模型，可通过自适应运动控制隐式推断远端状态（如物体距离）。
• 当前实现通常固定精度矩阵并绕过局部消息传递，表明生物上合理的架构与基于深度学习的主动推理模型之间存在差距。