[论文解读] Grounding Artificial Intelligence in the Origins of Human Behavior

Eleni Nisioti, Clément Moulin-Frier|arXiv (Cornell University)|Dec 15, 2020

Evolutionary Game Theory and Cooperation参考文献 67被引用 6

一句话总结

本文提出了一种跨学科框架，将人类行为生态学（HBE）与强化学习（RL）相结合，以在人工智能中实现开放式技能习得的生态学基础。通过将生态学原理——如环境复杂性、文化生态位构建和群体社会动态——映射到多智能体系统和终身学习等强化学习研究领域，作者识别出可增强适应性和可扩展性的反馈回路，为基于人类进化历史的人工智能发展提供了新的研究方向。

ABSTRACT

Recent advances in Artificial Intelligence (AI) have revived the quest for agents able to acquire an open-ended repertoire of skills. However, although this ability is fundamentally related to the characteristics of human intelligence, research in this field rarely considers the processes that may have guided the emergence of complex cognitive capacities during the evolution of the species. Research in Human Behavioral Ecology (HBE) seeks to understand how the behaviors characterizing human nature can be conceived as adaptive responses to major changes in the structure of our ecological niche. In this paper, we propose a framework highlighting the role of environmental complexity in open-ended skill acquisition, grounded in major hypotheses from HBE and recent contributions in Reinforcement learning (RL). We use this framework to highlight fundamental links between the two disciplines, as well as to identify feedback loops that bootstrap ecological complexity and create promising research directions for AI researchers.

研究动机与目标

• 为解决当前人工智能研究中缺乏生态学基础的问题，特别是在开放式技能习得方面。
• 通过将关键的HBE假设映射到RL研究挑战，识别人类行为生态学（HBE）与强化学习（RL）之间的基本联系。
• 提出一个概念性框架，利用生态复杂性和反馈机制，提升强化学习中智能体的适应性和可扩展性。
• 通过突出文化生态位构建和社会复杂性等共享机制，激发HBE与RL社区之间的跨学科对话。
• 识别受人类进化中生态反馈回路启发的多智能体强化学习（MARL）和元强化学习（meta-RL）中尚未充分探索的研究方向。

提出的方法

• 作者分析核心HBE假设——如群体规模、环境可变性及文化生态位构建——并将其映射到多智能体强化学习（MARL）、终身学习和内在动机等RL研究领域。
• 识别生态因素（如环境复杂性、群体规模）与认知结果（如工具使用、语言、适应性）之间的前向与反馈回路，建模这些机制在RL环境中的模拟方式。
• 利用现有RL基准和架构（如SAC、PPO）模拟生态动态，特别是在具有社会网络拓扑结构和通信涌现特性的多智能体设置中。
• 整合发展科学与进化理论的洞见，以建模累积性文化学习以及语言和动作的组合结构如何通过RL实现学习。
• 强调使用受人类-生态学启发的评估指标（如公平性、可持续性、社会福利）来评估复杂动态环境中智能体的表现。
• 提出一个概念模型（图1），用于可视化多层次生态反馈回路，指导未来在强化学习中的实证与计算探索。

实验结果

研究问题

• RQ1 人类行为生态学（HBE）的原则如何指导开放式强化学习智能体的设计？
• RQ2 生态系统中的哪些反馈机制（如文化生态位构建）可在多智能体强化学习中建模，以增强适应性和可扩展性？
• RQ3 根据社会复杂性假说，社会群体规模与网络结构在多大程度上影响RL智能体中通信与合作的涌现？
• RQ4 人类发展中所见的语言与动作的组合结构，在多大程度上可通过共享表征结构在RL智能体中复现？
• RQ5 如何系统性地利用生态复杂性，为人工智能体创建更强大、自我改进的学习课程？

主要发现

• 本研究识别出HBE假设（如环境可变性在塑造工具使用中的作用）与RL研究在自适应技能习得方面存在强烈的概念一致性。
• 人类社会中文化储备与环境稳定性之间的反馈回路，可在RL中建模，以构建更鲁棒和可扩展的学习系统。
• 社会复杂性假说（将群体规模与认知能力关联）得到MARL实验的支持，表明网络结构显著影响通信与合作的涌现。
• 语言与动作的组合结构（假定在人类中协同进化）可通过共享表征架构在RL智能体中复现，从而增强泛化能力与适应性。
• 文化生态位构建（即社会通过改造环境以降低可变性）可建模为RL中的自适应课程（autocurriculum），其学习速度与效率优于传统课程。
• 将受人类-生态学启发的指标（如可持续性、公平性）整合到RL评估中，为开放式智能提供了更具意义且生物学基础更坚实的基准。