[论文解读] Bits from Biology for Computational Intelligence

Michael Wibral, Joseph T. Lizier+1 more|arXiv (Cornell University)|Nov 30, 2014

Neural dynamics and brain function参考文献 150被引用 53

一句话总结

本文提出使用信息论——特别是局部信息动力学和部分信息分解——来分析神经系统，并提取可启发生物启发式计算系统（BICS）的算法原理与表征。通过量化神经与集体系统中的信息存储、传递与修改，该框架揭示了作为高效计算机制的相干信息波与级联，为鲁棒、资源受限的人工系统提供设计原则。

ABSTRACT

Computational intelligence is broadly defined as biologically-inspired computing. Usually, inspiration is drawn from neural systems. This article shows how to analyze neural systems using information theory to obtain constraints that help identify the algorithms run by such systems and the information they represent. Algorithms and representations identified information-theoretically may then guide the design of biologically inspired computing systems (BICS). The material covered includes the necessary introduction to information theory and the estimation of information theoretic quantities from neural data. We then show how to analyze the information encoded in a system about its environment, and also discuss recent methodological developments on the question of how much information each agent carries about the environment either uniquely, or redundantly or synergistically together with others. Last, we introduce the framework of local information dynamics, where information processing is decomposed into component processes of information storage, transfer, and modification -- locally in space and time. We close by discussing example applications of these measures to neural data and other complex systems.

研究动机与目标

• 通过信息论从神经系统中提取算法原理，弥合生物计算与人工计算之间的鸿沟。
• 通过分析神经活动与外部刺激之间的互信息，识别神经系统对其环境所表征的内容。
• 利用局部信息动力学，将神经信息处理分解为存储、传递与修改等组成部分。
• 通过识别如相干信息波等高效、鲁棒的信息处理机制，指导生物启发式计算系统（BICS）的设计。
• 通过从生物系统中推导出抽象、与实现无关的原则，应对计算智能中的病态问题。

提出的方法

• 将熵、互信息、传递熵与总相关性等信息论度量应用于神经与集体系统数据。
• 采用局部信息动力学，在特定时空位置上将信息处理分解为存储、传递与修改。
• 使用部分信息分解（PID）量化多个代理对共同环境信息的唯一、冗余与协同贡献。
• 利用非参数估计器从经验时间序列数据中估计信息论量，考虑非平稳性与循环平稳性。
• 整合Marr的三个分析层次（计算、算法、实现），以解释神经与人工系统中的信息处理。
• 在进化机器人中将传递熵用作适应度函数，引导蛇形机器人中相干信息流的自组织。

实验结果

研究问题

• RQ1 信息论如何用于识别神经系统所使用的算法与表征？
• RQ2 信息存储、传递与修改在神经计算中的作用是什么？它们如何在时空上局部量化？
• RQ3 系统中多个代理如何集体表征环境信息？其唯一、冗余或协同信息的贡献分别是什么？
• RQ4 能否通过信息论度量识别并解释群体或蛇形机器人中的相干信息波？
• RQ5 从神经信息处理中获得的洞见，如何启发资源受限的生物启发式计算系统的设计？

主要发现

• 信息论使神经计算能够被分解为独立过程：信息存储、传递与修改，从而揭示了神经动力学的算法结构。
• 在集体运动模型中定量识别出相干的信息传递级联，类似于细胞自动机中的滑行波，表明了高效远距离信息传播。
• 在使用传递熵作为适应度函数进化的蛇形机器人中，出现了相干的行进信息波，表明其为模块间鲁棒通信的共振模式。
• 部分信息分解揭示，多个代理可携带关于环境的冗余或协同信息，提供了对神经编码更细致的理解。
• 互信息分析将神经活动与人类可理解的环境变量联系起来，有助于识别神经系统所表征的世界的哪些方面。
• 该框架成功在Marr的算法层次上识别出神经与人工系统中的功能性计算，为资源受限的生物启发式计算系统提供了设计原则。