[论文解读] Deep neuroethology of a virtual rodent

Josh Merel, Diego Aldarondo+4 more|arXiv (Cornell University)|Nov 21, 2019

Neural dynamics and brain function参考文献 50被引用 10

一句话总结

该论文在MuJoCo中构建了一个虚拟鼠类平台，用于通过深度强化学习研究具身化运动控制，实现了对人工神经网络的神经行为学分析。研究发现，该模型通过策略网络中的时序动态和旋转性群体活动，组织了两种截然不同的神经表征——任务特定的行为策略与任务无关的运动学特征，其机制与生物运动系统中观察到的原则相一致。

ABSTRACT

Parallel developments in neuroscience and deep learning have led to mutually productive exchanges, pushing our understanding of real and artificial neural networks in sensory and cognitive systems. However, this interaction between fields is less developed in the study of motor control. In this work, we develop a virtual rodent as a platform for the grounded study of motor activity in artificial models of embodied control. We then use this platform to study motor activity across contexts by training a model to solve four complex tasks. Using methods familiar to neuroscientists, we describe the behavioral representations and algorithms employed by different layers of the network using a neuroethological approach to characterize motor activity relative to the rodent's behavior and goals. We find that the model uses two classes of representations which respectively encode the task-specific behavioral strategies and task-invariant behavioral kinematics. These representations are reflected in the sequential activity and population dynamics of neural subpopulations. Overall, the virtual rodent facilitates grounded collaborations between deep reinforcement learning and motor neuroscience.

研究动机与目标

• 开发一个逼真、具身化的虚拟鼠类平台，用于研究人工神经网络中的运动控制。
• 通过在具身化、理论驱动的设定中分析人工智能体中的神经表征，弥合深度强化学习与运动神经科学之间的鸿沟。
• 探究人工网络中的神经表征与动力学如何支持灵活、情境依赖的运动行为。
• 评估神经科学研究工具是否能够成功解码并解释人工控制系统功能组织的机制。
• 提供一个共享的、物理基础的环境，用于比较人工与生物神经控制机制。

提出的方法

• 在MuJoCo中构建了一个基于物理的虚拟鼠类，具备解剖学上准确的身体结构、感官输入（自身中心视觉、本体感觉）和运动执行器。
• 采用演员-评论家框架训练深度强化学习智能体，以解决四种需要协调运动的复杂且多样的任务。
• 应用神经科学研究分析技术——表示相似性分析（RSA）、神经动力学分析和群体向量解码——以检查网络中的神经表征。
• 将核心（价值）和策略（动作）网络层中的神经活动映射到行为特征、姿势和运动指令。
• 使用旋转动力学分析识别与不同行为及时间尺度相关的独特神经状态轨迹。
• 通过将网络行为与生物运动控制中的已知原则（如时序活动与分层控制）进行对比，验证了研究发现。

实验结果

研究问题

• RQ1 在具身智能体中，人工神经网络如何在不同任务中表征和生成多样的运动行为？
• RQ2 在复杂运动任务上训练的深度强化学习智能体中，会涌现出哪些类型的神经表征（例如，任务特定型与不变型）？
• RQ3 人工网络中的神经群体动力学如何反映行为的时间结构，如动作序列？
• RQ4 在物理基础设定下，神经科学研究工具在多大程度上能够解码人工神经网络的功能组织？
• RQ5 在复杂任务上训练的人工智能体是否能表现出与生物运动系统中观察到的神经动力学相似的特征？

主要发现

• 该网络发展出两类截然不同的神经表征：核心网络中的任务特定行为策略与策略网络中的任务无关运动学特征。
• 策略网络中的表征在不同任务间更加一致，表明共享运动模式被复用于不同目标。
• 策略层中的神经活动在时间上均匀分布，将跑步、跳跃和抽搐等刻板行为组织为时序模式。
• 不同行为与神经活动空间中不同的旋转动力学相关联，其演化时间尺度各异。
• 核心与策略层中的表征与行为和姿势特征的相似性高于与短时序运动指令的相似性，支持其在动作选择中的作用。
• 神经动力学的分层组织结构——其中核心网络调制策略驱动的序列——与提出的生物运动控制原理相一致。