[论文解读] Model-Based Offline Planning with Trajectory Pruning

Xianyuan Zhan, Xiangyu Zhu+1 more|arXiv (Cornell University)|May 16, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

MOPP 是一种轻量级、基于模型的离线规划框架，通过行为策略引导和基于 Q 值的动作选择提升轨迹滚动的激进程度，同时利用动力学模型的不确定性剪枝分布外轨迹。该方法在性能上与当前最先进的离线强化学习和基于模型的规划方法相当，且在实际应用中展现出更优的控制灵活性。

ABSTRACT

The recent offline reinforcement learning (RL) studies have achieved much progress to make RL usable in real-world systems by learning policies from pre-collected datasets without environment interaction. Unfortunately, existing offline RL methods still face many practical challenges in real-world system control tasks, such as computational restriction during agent training and the requirement of extra control flexibility. The model-based planning framework provides an attractive alternative. However, most model-based planning algorithms are not designed for offline settings. Simply combining the ingredients of offline RL with existing methods either provides over-restrictive planning or leads to inferior performance. We propose a new light-weighted model-based offline planning framework, namely MOPP, which tackles the dilemma between the restrictions of offline learning and high-performance planning. MOPP encourages more aggressive trajectory rollout guided by the behavior policy learned from data, and prunes out problematic trajectories to avoid potential out-of-distribution samples. Experimental results show that MOPP provides competitive performance compared with existing model-based offline planning and RL approaches.

研究动机与目标

• 解决基于模型的离线强化学习中过度保守规划的问题，该问题限制了性能和探索能力。
• 在典型机器人和工业控制系统中常见的计算资源受限条件下，实现高性能规划。
• 通过允许动态更改奖励函数和基于状态的约束而无需重新训练，引入控制灵活性。
• 通过结合行为策略引导与基于不确定性的轨迹剪枝，平衡探索与安全性。
• 在基准控制任务上，与离线强化学习和基于模型的规划基线方法相比，实现具有竞争力的性能。

提出的方法

• 使用自回归动力学模型（ADM）的集成来从离线数据集中学习系统动力学和行为策略。
• 在行为策略引导下执行轨迹滚动，但允许受控偏离以鼓励探索。
• 在每个规划步骤应用贪婪的最大 Q 操作，基于离线 Q 值估计优先选择高回报动作。
• 通过评估动力学模型预测中的不确定性，剪枝包含未知状态-动作对的轨迹。
• 引入不确定性阈值（L）以平衡探索与安全性，避免分布外（OOD）样本。
• 利用模型预测控制（MPC）结合无梯度优化器（如 CEM）实现高效、实时的规划。

实验结果

研究问题

• RQ1 基于模型的离线规划框架是否能在避免现有方法中常见过度保守行为的同时，实现高性能？
• RQ2 基于不确定性的轨迹剪枝在无在线交互的情况下，如何提升离线规划的安全性与性能？
• RQ3 在离线控制任务中，通过行为策略引导和 Q 值估计实现的激进滚动，在多大程度上能提升样本效率和回报？
• RQ4 与标准强化学习方法相比，MOPP 在奖励函数或约束发生变化时，如何保持性能与灵活性？
• RQ5 在离线规划中，探索（通过采样偏离）与安全性（通过不确定性剪枝）之间的最优权衡是什么？

主要发现

• MOPP 在性能上与当前最先进的离线强化学习和基于模型的规划方法相当，且在大多数基准测试中优于 MBOP。
• 最大 Q 操作显著提升了性能，相比仅使用价值函数的引导更强，尤其在短时程规划中表现更优。
• 采用最优不确定性阈值（L=2.0）的轨迹剪枝可获得最佳性能和最低方差，而过于严格或宽松的阈值均会降低结果。
• 即使在短规划时域（H=2,4）下，MOPP 仍能保持高性能，展现出高效性与鲁棒性。
• MOPP 实现了有效的控制灵活性：通过简单重新评估 Q 值或剪枝逻辑，即可适应新的奖励函数和约束，而无需完整重训练。
• 在约束任务中，采用基于不确定性的剪枝（MOPP-RC）能有效减少约束违反，同时保持高性能，优于仅使用奖励惩罚的方法。