[论文解读] Markov Brains: A Technical Introduction

Arend Hintze, Jeffrey A. Edlund+10 more|arXiv (Cornell University)|Sep 17, 2017

Evolutionary Algorithms and Applications参考文献 22被引用 28

一句话总结

本文介绍了马尔可夫大脑（Markov Brains, MBs），一种可进化的人工神经网络类别，其通过状态缓冲区和并行执行的计算单元（类比于神经元）处理输入，经由求和更新内部状态，并生成运动输出。与传统人工神经网络（ANNs）不同，MBs通过遗传编码或直接编码进行演化，从而实现灵活的非层叠式架构，专为具身智能体及复杂行为（如学习与群体行为）优化。

ABSTRACT

Markov Brains are a class of evolvable artificial neural networks (ANN). They differ from conventional ANNs in many aspects, but the key difference is that instead of a layered architecture, with each node performing the same function, Markov Brains are networks built from individual computational components. These computational components interact with each other, receive inputs from sensors, and control motor outputs. The function of the computational components, their connections to each other, as well as connections to sensors and motors are all subject to evolutionary optimization. Here we describe in detail how a Markov Brain works, what techniques can be used to study them, and how they can be evolved.

研究动机与目标

• 提出一种新型人工神经网络——马尔可夫大脑（Markov Brains），其与传统分层人工神经网络存在根本性差异，通过模块化、可进化的计算单元实现网络构建。
• 通过遗传编码或直接编码机制，实现网络拓扑结构、功能与连接关系的演化优化。
• 通过可扩展的框架设计，支持人工智能体中复杂行为的演化，如学习、群体行为与社会等级形成。
• 通过MABE框架实现平台无关性与代码复用，确保演化实验的通用性与可扩展性。

提出的方法

• 使用状态缓冲区（状态向量）建模马尔可夫大脑，其中每个元素代表一个节点，用于存储输入、隐藏或输出状态。
• 实现计算单元（逻辑门）的并行更新，这些单元从状态缓冲区的子集读取信号并写入信号，通过求和整合信号。
• 使用起始密码子对MBs进行遗传编码，以定义门类型（确定性、概率性、阈值门、计时门），从而实现功能与连接关系的演化。
• 支持直接编码，即网络通过重布线、功能变更以及组件的增减，在演化规则的约束下进行演化。
• 利用MABE框架确保模块化、硬件抽象性与跨实验及研究者的互操作性。
• 集成反馈门与学习机制，使个体智能体在其生命周期内实现适应性调整。

实验结果

研究问题

• RQ1 如何设计人工神经网络，使其支持灵活的非层叠式架构，从而实现网络结构与功能的演化优化？
• RQ2 在演化复杂智能体行为时，遗传编码与直接编码在马尔可夫大脑网络演化中各自具有哪些优势？
• RQ3 马尔可夫大脑能否通过演化过程在具身智能体中演化出社会等级、群体行为与自适应学习？
• RQ4 模块化、平台无关的框架（如MABE）如何提升演化计算研究中的可重复性、可复用性与通用性？
• RQ5 与传统神经网络模型相比，并行计算与信号求和在马尔可夫大脑中如何促进复杂动力学行为的产生？

主要发现

• 尽管直接编码初始更简单，但使用起始密码子进行遗传编码的马尔可夫大脑演化速度更快，且平均适应度更高。
• 引入阈值门与计时门后，成功演化出数字智能体中的社会等级结构，展示了复杂涌现行为。
• MABE框架实现了模块化、可复用且可互操作的实验设计，支持广泛的研究领域，包括学习、群体行为与社会动力学。
• 成功实现反馈门，使智能体能够在其生命周期内适应环境，证明了马尔可夫大脑中学习的可行性。
• 该框架通过Randal Olson开发的扩展，支持群体与捕食者-猎物动力学的演化，实现了复杂的集体行为。
• 马尔可夫大脑的Python实现（https://github.com/rhiever/MarkovNetwork）与EALib的集成，使得支持数千个状态与多种门类型的大型实验成为可能。