[论文解读] Synergetic Learning Systems: Concept, Architecture, and Algorithms

Ping Guo, Qian Yin|arXiv (Cornell University)|May 31, 2020

Neural Networks and Applications参考文献 34被引用 10

一句话总结

本文提出协同学习系统（SLS），一种受自然自组织与进化原理启发的人工智能框架，通过多个模型的协作-竞争学习实现可控的、涌现的智能。该系统利用自由能最小化与统计力学原理，引导演化过程朝向稳定、可解释且可泛化的解决方案。

ABSTRACT

Drawing on the idea that brain development is a Darwinian process of ``evolution + selection'' and the idea that the current state is a local equilibrium state of many bodies with self-organization and evolution processes driven by the temperature and gravity in our universe, in this work, we describe an artificial intelligence system called the ``Synergetic Learning Systems''. The system is composed of two or more subsystems (models, agents or virtual bodies), and it is an open complex giant system. Inspired by natural intelligence, the system achieves intelligent information processing and decision-making in a given environment through cooperative/competitive synergetic learning. The intelligence evolved by the natural law of ``it is not the strongest of the species that survives, but the one most responsive to change,'' while an artificial intelligence system should adopt the law of ``human selection'' in the evolution process. Therefore, we expect that the proposed system architecture can also be adapted in human-machine synergy or multi-agent synergetic systems. It is also expected that under our design criteria, the proposed system will eventually achieve artificial general intelligence through long term coevolution.

研究动机与目标

• 解决深度学习的停滞与局限性，包括可解释性差、缺乏常识以及不稳定性。
• 开发一种统一的人工智能架构，整合自组织、协同进化与人机引导选择，以实现通用人工智能。
• 通过系统理论方法克服深度神经网络在拓扑结构设计与模型可解释性方面的挑战。
• 基于热力学与统计力学原理，建立人工智能演化的理论基础，类似于‘智能的热力学’。

提出的方法

• 提出一种多智能体、开放复杂系统架构，其中子系统（模型或智能体）在共享演化目标下通过竞争与合作共同演化。
• 采用自由能最小化原理作为系统演化的驱动力，引导系统趋向稳定、低熵、高序态。
• 引入一种受麦克斯韦妖启发的协同学习机制，使信息粒子通过涨落驱动的演化过程，自发地从无序组织为有序。
• 应用统计力学与进化理论中的自组织原理，实现网络结构的自动演化与拓扑优化。
• 采用三部分框架：(I) 通过自由能最小化实现系统层面的演化，(II) 通过信息聚合实现可解释的模型设计，(III) 基于自组织理论实现自动神经架构演化。
• 将系统建模为由微分方程控制的动力系统，在给定边界条件下可预测其演化路径。

实验结果

研究问题

• RQ1 在人工系统中，何种基本原理支配着智能行为的涌现，类似于物理系统中的热力学原理？
• RQ2 人工智能系统如何通过人机引导选择与自组织机制，实现长期协同演化以迈向通用人工智能？
• RQ3 通过将信息处理建模为自组织、自由能最小化过程，是否能够改善深度神经网络的可解释性与设计？
• RQ4 能否通过受自然演化与统计力学启发的协同学习机制，自动演化神经网络的拓扑结构？
• RQ5 在多模型系统中，协作与竞争的相互作用在稳定智能行为的涌现中起到何种作用？

主要发现

• 协同学习系统（SLS）通过最小化系统自由能，实现可预测且可控的演化，确保收敛至稳定、有序的状态。
• SLS中的涌现现象源于多个模型之间的相互作用，信息粒子通过类似麦克斯韦妖的涨落驱动过程，从无序向有序聚集。
• 系统的演化受定义明确的微分方程框架控制，可在给定环境与边界条件下预测其演化路径。
• 该框架通过将无监督学习建模为系统熵减少与结构聚类的过程，实现了可解释的深度学习。
• SLS通过提出基于统计力学与自组织原理的‘智能热力学’理论基础，为未来人工智能发展提供理论支撑。
• 该系统的架构支持向通用人工智能的长期协同演化，人类选择以有意图的设计方式引导演化轨迹，其机制类似于自然选择但具备主动设计特征。