[论文解读] How Morphological Computation shapes Integrated Information in Embodied Agents

Carlotta Langer, Nihat Ay|arXiv (Cornell University)|Aug 2, 2021

Neural dynamics and brain function参考文献 34被引用 5

一句话总结

本文提出一个框架，用于量化具身智能体中形态计算如何减少其控制器对整合信息的需求。通过‘规划即推理’与信息几何方法，证明了身体与环境的交互程度（形态计算）与大脑层面的信息整合之间存在反比关系，揭示了一种对理解具身人工智能中智能体行为与意识至关重要的对抗性关系。

ABSTRACT

The Integrated Information Theory provides a quantitative approach to consciousness and can be applied to neural networks. An embodied agent controlled by such a network influences and is being influenced by its environment. This involves, on the one hand, morphological computation within goal directed action and, on the other hand, integrated information within the controller, the agent's brain. In this article, we combine different methods in order to examine the information flows among and within the body, the brain and the environment of an agent. This allows us to relate various information flows to each other. We test this framework in a simple experimental setup. There, we calculate the optimal policy for goal-directed behavior based on the "planning as inference" method, in which the information-geometric em-algorithm is used to optimize the likelihood of the goal. Morphological computation and integrated information are then calculated with respect to the optimal policies. Comparing the dynamics of these measures under changing morphological circumstances highlights the antagonistic relationship between these two concepts. The more morphological computation is involved, the less information integration within the brain is required. In order to determine the influence of the brain on the behavior of the agent it is necessary to additionally measure the information flow to and from the brain.

研究动机与目标

• 理解任务解决中的复杂性在具身智能体的大脑、身体与环境之间如何分布。
• 量化形态计算（身体-环境交互）与整合信息（大脑层面处理）之间的相互作用。
• 探究形态计算是否以及如何减少控制器对信息整合的需求。
• 构建统一的信息论框架，以分析人工智能体的感官运动环路。
• 证明仅靠整合信息不足以评估控制器的作用——还必须同时测量流向大脑及来自大脑的信息流。

提出的方法

• 使用包含世界（W）、控制器（C）、传感器（S）与执行器（A）的贝叶斯网络模型来建模智能体的感官运动环路。
• 应用‘规划即推理’方法，将动作视为隐变量，利用EM算法最大化目标可能性，从而推导最优策略。
• 运用信息几何方法计算概率分布之间的KL散度，实现EM算法中的e-投影与m-投影步骤。
• 采用EM算法迭代优化策略：e-投影最小化D(Q∥P)关于目标分布，m-投影最小化D(Q∥P)关于动作策略。
• 推导出投影的闭式表达式：e-投影使用Q(z) = P(z)·Q(g)/P(g)，m-投影使用基于马尔可夫因子的条件概率更新。
• 将形态计算定义为环境交互程度对认知负荷的降低程度，将整合信息定义为控制器内部的信息整合程度。

实验结果

研究问题

• RQ1 身体中的形态计算如何影响控制器所需整合信息的水平？
• RQ2 控制器对行为的影响在多大程度上依赖于流向和来自它的信息流，而不仅仅是其内部整合？
• RQ3 ‘规划即推理’框架结合信息几何，能否识别出同时最小化形态与认知负荷的最优策略？
• RQ4 具身智能体中形态计算与整合信息之间存在何种权衡关系？
• RQ5 不同形态构型如何改变任务执行过程中基于身体与基于大脑的处理之间的平衡？

主要发现

• 形态计算与整合信息之间存在对抗关系：随着形态计算的增加，大脑中对整合信息的需求减少。
• 即使控制器对行为没有直接影响，流向和来自它的信息流也是确定其功能角色的关键。
• EM算法通过迭代e-投影与m-投影成功计算出最优策略，收敛至代表不同行为策略的局部极小值。
• e-投影公式Qt(z) = P(z)·Q(g)/P(g)通过根据目标概率调整策略分布，确保目标可能性最大化。
• m-投影更新P^{t+1}(z) = Qt(ct|at,st) · ˆP(s,g|s,a) · Qt(at) / ∏i Qt(ai^{t+1}|st,ct) · ∏j Qt(cj^{t+1}|st,ct) 通过基于当前状态与动作的条件化，实现高效的策略优化。
• 研究表明，仅依赖整合信息度量不足以评估控制器的贡献——必须同步分析信息流动力学。