[论文解读] Closing the Closed-Loop Distribution Shift in Safe Imitation Learning.

Stephen Tu, Alexander Robey+1 more|arXiv (Cornell University)|Feb 18, 2021

Model Reduction and Neural Networks参考文献 26被引用 8

一句话总结

本文提出CMILe，一种新型的在线策略模仿学习算法，可将基于优化的安全控制策略（如使用控制李雅普诺夫函数或屏障函数的策略）提炼为适用于资源受限系统的高效、可证明安全的策略。通过整合随机混合、约束策略优化与非线性鲁棒控制，CMILe有效缓解了闭环分布偏移问题，并在不依赖任务时域长度的前提下，实现了独立于任务时长的安全与稳定性保证，即使在使用感知输入的情况下亦然。

ABSTRACT

Commonly used optimization-based control strategies such as model-predictive and control Lyapunov/barrier function based controllers often enjoy provable stability, robustness, and safety properties. However, implementing such approaches requires solving optimization problems online at high-frequencies, which may not be possible on resource-constrained commodity hardware. Furthermore, how to extend the safety guarantees of such approaches to systems that use rich perceptual sensing modalities, such as cameras, remains unclear. In this paper, we address this gap by treating safe optimization-based control strategies as experts in an imitation learning problem, and train a learned policy that can be cheaply evaluated at run-time and that provably satisfies the same safety guarantees as the expert. In particular, we propose Constrained Mixing Iterative Learning (CMILe), a novel on-policy robust imitation learning algorithm that integrates ideas from stochastic mixing iterative learning, constrained policy optimization, and nonlinear robust control. Our approach allows us to control errors introduced by both the learning task of imitating an expert and by the distribution shift inherent to deviating from the original expert policy. The value of using tools from nonlinear robust control to impose stability constraints on learned policies is shown through sample-complexity bounds that are independent of the task time-horizon. We demonstrate the usefulness of CMILe through extensive experiments, including training a provably safe perception-based controller using a state-feedback-based expert.

研究动机与目标

• 为解决在资源受限硬件上部署高频、基于优化的安全控制策略的挑战。
• 将基于优化的控制器的安全与稳定性保证扩展至使用丰富感知输入（如摄像头）的系统。
• 解决在模仿学习中，由于策略偏离导致的专家策略与模仿策略之间闭环分布偏移的问题。
• 开发一种样本高效、在线策略的模仿学习算法，确保可证明的安全与稳定性，且不依赖于任务时域长度。
• 使基于感知的控制器能够获得与基于状态反馈的专家控制器相同的安 全保证。

提出的方法

• CMILe 使用约束策略优化框架，确保所学习的策略满足与专家基于优化的控制器相同的安 全与稳定性约束。
• 通过整合随机混合迭代学习，提升策略蒸馏过程中的样本效率与鲁棒性。
• 该算法结合非线性鲁棒控制理论，定义在训练过程中显式强制执行的稳定性约束。
• 将模仿学习问题建模为带有闭环稳定性和安全性作为硬约束的约束优化问题，而非仅依赖奖励函数。
• 通过建模策略偏离下的闭环动态，最小化专家与模仿者之间的分布偏移。
• 推导出与任务时域长度无关的样本复杂度边界，从而实现长时域任务的高效训练。

实验结果

研究问题

• RQ1 我们能否将高频、基于优化的控制器的安全与稳定性特性提炼为轻量化、运行时高效的策略？
• RQ2 在基于感知的控制中，当模仿策略偏离专家策略时，如何解决由此产生的闭环分布偏移问题？
• RQ3 我们能否在不依赖任务时域长度的前提下，实现模仿学习中可证明的安全与稳定性保证？
• RQ4 非线性鲁棒控制在约束学习策略以维持分布偏移下的稳定性方面起到什么作用？
• RQ5 集成随机混合如何提升安全模仿学习中的样本效率与鲁棒性？

主要发现

• CMILe 有效训练出一种基于感知的控制器，其可证明满足与基于状态反馈的专家控制器相同的安 全与稳定性保证。
• 该算法实现了与任务时域长度无关的样本复杂度边界，表明其在长时域任务中具备可扩展性。
• 通过集成非线性鲁棒控制约束，CMILe 即使在策略偏离导致的分布偏移下也能确保稳定性。
• 该方法有效缓解了闭环分布偏移，维持了在丰富感知输入下的模仿学习中的安全性与性能。
• 大量实验表明，CMILe 可在通用硬件上实现安全、低成本的推理，同时保持专家级别的安全性。
• 随机混合的引入显著提升了模仿学习过程中的收敛性与鲁棒性，尤其在分布偏移场景下表现突出。