[论文解读] ADAPT: Zero-Shot Adaptive Policy Transfer for Stochastic Dynamical Systems

J. Harrison, Animesh Garg+5 more|arXiv (Cornell University)|Jul 14, 2017

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

AdaPT 通过结合仿真中的离线策略学习与在线基于管道的模型预测控制（MPC），实现了在未知动力学失配的新物理系统上进行零样本、安全且鲁棒的强化学习策略迁移。它保证了状态和控制偏差的有界性，并在未建模扰动下实现了比直接策略迁移高 50–300% 的平均奖励。

ABSTRACT

Model-free policy learning has enabled robust performance of complex tasks with relatively simple algorithms. However, this simplicity comes at the cost of requiring an Oracle and arguably very poor sample complexity. This renders such methods unsuitable for physical systems. Variants of model-based methods address this problem through the use of simulators, however, this gives rise to the problem of policy transfer from simulated to the physical system. Model mismatch due to systematic parameter shift and unmodelled dynamics error may cause sub-optimal or unsafe behavior upon direct transfer. We introduce the Adaptive Policy Transfer for Stochastic Dynamics (ADAPT) algorithm that achieves provably safe and robust, dynamically-feasible zero-shot transfer of RL-policies to new domains with dynamics error. ADAPT combines the strengths of offline policy learning in a black-box source simulator with online tube-based MPC to attenuate bounded model mismatch between the source and target dynamics. ADAPT allows online transfer of policy, trained solely in a simulation offline, to a family of unknown targets without fine-tuning. We also formally show that (i) ADAPT guarantees state and control safety through state-action tubes under the assumption of Lipschitz continuity of the divergence in dynamics and, (ii) ADAPT results in a bounded loss of reward accumulation relative to a policy trained and evaluated in the source environment. We evaluate ADAPT on 2 continuous, non-holonomic simulated dynamical systems with 4 different disturbance models, and find that ADAPT performs between 50%-300% better on mean reward accrual than direct policy transfer.

研究动机与目标

• 解决将仿真中训练的策略迁移到具有未建模动力学或参数失配的物理机器人所面临的挑战。
• 实现在无需在线微调的情况下实现零样本策略迁移，以避免在真实硬件上进行不安全的探索。
• 在有界动力学失配条件下，确保策略迁移过程中的安全性和鲁棒性。
• 形式化保证状态和控制偏差的有界性，以及相对于域内训练的奖励累积损失的有界性。
• 在连续、非完整系统中，针对多种扰动模型展示性能提升。

提出的方法

• 在具有精确动力学的黑箱源仿真器中离线训练深度强化学习策略。
• 通过在无扰动的源仿真器中执行学习到的策略，生成一个名义轨迹。
• 利用目标系统的在线、局部线性化、时变动力学模型，在名义轨迹周围构建一个状态-动作管道。
• 应用基于管道的模型预测控制（MPC），实时调整策略，确保动态可行性并增强对有界动力学失配的鲁棒性。
• 利用动力学偏差的利普希茨连续性，形式化界定管道内状态和控制偏差的有界性。
• 确保 MPC 控制器在管道内稳定系统，从而在扰动下维持安全性和性能。

实验结果

研究问题

• RQ1 我们能否在未知动力学失配的新物理系统上，实现可证明安全且鲁棒的零样本 RL 策略迁移？
• RQ2 在存在有界动力学误差的系统间迁移策略时，能否对状态和控制偏差提供形式化保证？
• RQ3 在未建模扰动或参数失配下，AdaPT 的性能与直接策略迁移相比如何？
• RQ4 AdaPT 能否保证相对于在目标环境中训练和评估的策略，奖励累积损失的有界性？
• RQ5 在非完整、连续动力学系统中，AdaPT 在多种扰动模型下的表现如何？

主要发现

• 在模拟汽车和机械臂环境中，针对四种扰动模型，AdaPT 实现的平均奖励累积比直接迁移高出 50–300%。
• 在适度假设下（特别是动力学偏差的利普希茨连续性），该算法通过状态-动作管道保证了状态和控制偏差的有界性。
• AdaPT 确保了相对于在目标环境中专门训练的策略，奖励累积损失的有界性。
• 对于加性控制误差和过程噪声，AdaPT 显著优于直接迁移，表现出更低的归一化成本和更优的跟踪性能。
• 在参数误差（如机械臂质量变化）情况下，AdaPT 的性能与直接迁移相当，但避免了不稳定性和超调。
• 只要动力学失配是有界的且满足利普希茨连续性，该方法即使在目标动力学未完全已知的情况下也有效。