[论文解读] Human-AI Shared Control via Policy Dissection

Quanyi Li, Zhenghao Peng+3 more|arXiv (Cornell University)|May 31, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出Policy Dissection，一种基于频率的方法，通过在不微调的情况下将学习到的神经网络策略表征与运动学属性对齐，实现人机共享控制。该方法在预训练策略中发现运动基元，使用户能够实时控制跳跃和后空翻等行为，显著提升了在未见环境中的泛化能力和安全性。

ABSTRACT

Human-AI shared control allows human to interact and collaborate with AI to accomplish control tasks in complex environments. Previous Reinforcement Learning (RL) methods attempt the goal-conditioned design to achieve human-controllable policies at the cost of redesigning the reward function and training paradigm. Inspired by the neuroscience approach to investigate the motor cortex in primates, we develop a simple yet effective frequency-based approach called extit{Policy Dissection} to align the intermediate representation of the learned neural controller with the kinematic attributes of the agent behavior. Without modifying the neural controller or retraining the model, the proposed approach can convert a given RL-trained policy into a human-interactive policy. We evaluate the proposed approach on the RL tasks of autonomous driving and locomotion. The experiments show that human-AI shared control achieved by Policy Dissection in driving task can substantially improve the performance and safety in unseen traffic scenes. With human in the loop, the locomotion robots also exhibit versatile controllable motion skills even though they are only trained to move forward. Our results suggest the promising direction of implementing human-AI shared autonomy through interpreting the learned representation of the autonomous agents. Demo video and code will be made available at https://metadriverse.github.io/policydissect.

研究动机与目标

• 在不修改训练过程或网络结构的前提下，为预训练的深度强化学习智能体实现人机共享控制。
• 解释神经策略内部表征，并将其与特定运动学属性（如偏航角、速度和朝向）关联。
• 开发一种通用且与架构无关的方法，实现实时人机干预复杂控制任务。
• 通过人机协同控制提升在未见环境中的推理阶段泛化能力和安全性。
• 展示对复杂运动技能（如后空翻和下蹲）的可控性，这些技能原本仅在简单任务上进行训练。

提出的方法

• Policy Dissection对预训练策略在轨迹推理过程中神经网络单元的时间序列激活进行频率分析。
• 通过互谱相干性，识别出其激活模式与特定运动学属性（如偏航率、垂直速度）频率最匹配的单元。
• 通过将每个识别出的单元（运动基元）与可控制的运动学行为关联，构建刺激诱发映射图。
• 在推理阶段，通过调节这些发现的运动基元的激活来实现人机控制。
• 该方法与模型无关，无需微调、奖励函数修改或环境更改。
• 借鉴神经科学原理，特别是运动皮层刺激研究，以解释深度策略表征。

实验结果

研究问题

• RQ1 我们能否在不微调的情况下，从预训练的深度强化学习策略中发现可解释的运动基元？
• RQ2 这些发现的基元是否能实现实时控制复杂行为（如跳跃和后空翻）？
• RQ3 通过Policy Dissection实现的人机共享控制是否能提升在未见环境中的性能与安全性？
• RQ4 与目标条件策略相比，该方法在精度和灵活性方面如何？
• RQ5 该方法能否在不同控制任务和神经网络架构之间实现泛化？

主要发现

• 在自动驾驶任务中，使用Policy Dissection的人机共享控制系统在未见交通场景中显著提升了性能与安全性，优于基线策略。
• 对于四足机器人，Policy Dissection在新环境中实现了障碍物规避，性能接近为该任务专门训练的视觉引导策略。
• 在Cassie机器人上，Policy Dissection从仅训练向前移动的策略中发现了下蹲、跳跃和后空翻技能，人类操作员随后通过组合这些技能成功通过了障碍跑赛道。
• 在航向跟踪任务中，基元激活控制的精度与目标条件控制相当，跟踪误差分布与基于PID的基线几乎完全一致。
• 该方法在多种任务（包括运动与驾驶）中均表现出泛化能力，对底层强化学习策略的架构或算法无任何限制。
• 刺激诱发映射图实现了有效的任务迁移，使智能体仅通过人类对发现的运动基元进行调制，即可执行新任务而无需微调。