[论文解读] DMAP: a Distributed Morphological Attention Policy for Learning to Locomote with a Changing Body

Alberto Silvio Chiappa, Alessandro Marin Vargas+1 more|arXiv (Cornell University)|Sep 28, 2022

Action Observation and Synchronization被引用 8

一句话总结

DMAP 提出了一种受生物学启发的、基于注意力机制的深度强化学习架构，使智能体能够在未显式访问形态参数的情况下，学习适应不同身体形态的运动。通过结合分布式关节控制、独立本体感觉处理以及动态注意力门控，DMAP 在四个连续控制环境中实现了与拥有完整形态知识的“最优”智能体相当或更优的性能。

ABSTRACT

Biological and artificial agents need to deal with constant changes in the real world. We study this problem in four classical continuous control environments, augmented with morphological perturbations. Learning to locomote when the length and the thickness of different body parts vary is challenging, as the control policy is required to adapt to the morphology to successfully balance and advance the agent. We show that a control policy based on the proprioceptive state performs poorly with highly variable body configurations, while an (oracle) agent with access to a learned encoding of the perturbation performs significantly better. We introduce DMAP, a biologically-inspired, attention-based policy network architecture. DMAP combines independent proprioceptive processing, a distributed policy with individual controllers for each joint, and an attention mechanism, to dynamically gate sensory information from different body parts to different controllers. Despite not having access to the (hidden) morphology information, DMAP can be trained end-to-end in all the considered environments, overall matching or surpassing the performance of an oracle agent. Thus DMAP, implementing principles from biological motor control, provides a strong inductive bias for learning challenging sensorimotor tasks. Overall, our work corroborates the power of these principles in challenging locomotion tasks.

研究动机与目标

• 开发一种强化学习策略，能够在身体形态发生显著且未见过的变化时仍能稳健地学习运动。
• 探究受生物学启发的原则——分布式控制、独立感觉处理和动态门控——是否能为感觉运动适应提供强大的归纳偏置。
• 评估端到端可训练的策略是否能够匹配或超越拥有隐藏形态参数访问权限的“最优”智能体的性能。
• 分析注意力机制的动力学特性及其在形态变化泛化中的作用。

提出的方法

• DMAP 使用具有共享权重的时序卷积网络（TCN）独立处理每个身体部分的本体感觉状态历史。
• 通过将学习到的注意力权重应用于源自感觉输入的值编码向量，计算每个关节的特定形态编码。
• 每个关节由一个独立的全连接网络控制，该网络同时使用当前本体感觉信息及其特定关节的形态编码。
• 注意力机制根据任务相关的形态特征，动态地将不同身体部位的感觉信息路由到不同的控制器。
• 整个架构以端到端方式训练，无需形态参数的监督信号，仅依赖稀疏密集奖励。
• 在分布内（IID）和分布外（OOD）形态扰动下评估模型，以测试零样本泛化能力。

实验结果

研究问题

• RQ1 当每个智能体的初始阶段身体形态被随机扰动时，深度强化学习策略是否仍能有效学习运动？
• RQ2 将生物运动控制原则（如分布式控制、独立处理和动态门控）纳入模型，是否能提升对未见过形态的泛化能力？
• RQ3 一个端到端训练的智能体是否能够匹配拥有隐藏形态参数访问权限的“最优”智能体的性能？
• RQ4 DMAP 中的注意力机制如何适应形态变化？其在训练过程中涌现出何种动力学特性？

主要发现

• 在四个环境（Ant、Half Cheetah、Walker、Hopper）中，尽管未访问形态参数，DMAP 的性能与“最优”智能体相当或更优。
• 仅依赖本体感觉的简单基线方法在多样化形态下无法学习到有效的运动策略。
• DMAP 对分布外形态扰动具有鲁棒泛化能力，包括肢体截肢（100% 扰动），其奖励单调下降但保持稳定，且在不同肢体类型间表现一致。
• 注意力机制在嵌入空间中表现出旋转动力学，这种特性在训练过程中逐步显现，并促进了解耦化、正则化的轨迹。
• 注意力动力学轨迹的纠缠程度显著低于观测空间和动作空间的轨迹，表明其具有更强的泛化能力和鲁棒性。
• DMAP 与 RMA 在适应新形态的速度上相当，表明 DMAP 实现了快速适应，且无需两阶段训练流程。