[论文解读] How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization

Hai Zhang, Hang Yu+6 more|arXiv (Cornell University)|Sep 22, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本文提出 USB-PO，一种统一策略优化框架，在基于模型的强化学习微调过程中联合最小化模型漂移与模型偏差。通过推导一个理论上合理的目标函数，自适应地平衡这两个因素，USB-PO 确保了性能提升的保障，同时防止过拟合，在具有挑战性的基准测试中取得了最先进结果。

ABSTRACT

Designing and deriving effective model-based reinforcement learning (MBRL) algorithms with a performance improvement guarantee is challenging, mainly attributed to the high coupling between model learning and policy optimization. Many prior methods that rely on return discrepancy to guide model learning ignore the impacts of model shift, which can lead to performance deterioration due to excessive model updates. Other methods use performance difference bound to explicitly consider model shift. However, these methods rely on a fixed threshold to constrain model shift, resulting in a heavy dependence on the threshold and a lack of adaptability during the training process. In this paper, we theoretically derive an optimization objective that can unify model shift and model bias and then formulate a fine-tuning process. This process adaptively adjusts the model updates to get a performance improvement guarantee while avoiding model overfitting. Based on these, we develop a straightforward algorithm USB-PO (Unified model Shift and model Bias Policy Optimization). Empirical results show that USB-PO achieves state-of-the-art performance on several challenging benchmark tasks.

研究动机与目标

• 为解决基于模型的强化学习（MBRL）中模型学习与策略优化之间高耦合的问题。
• 克服先前方法依赖固定阈值来约束模型漂移的局限性，从而提升训练过程中的适应性。
• 将模型漂移与模型偏差的处理统一为一个理论基础坚实的联合优化目标。
• 开发一种自适应调整模型更新的微调过程，以确保性能提升并避免过拟合。
• 通过一种有原则的、自适应的算法，在具有挑战性的 MBRL 基准上实现最先进性能。

提出的方法

• 作者推导出一个统一的优化目标，同时考虑模型漂移与模型偏差，实现两者的联合最小化。
• 该方法提出一个性能差异界，明确纳入模型漂移因素，避免依赖固定阈值。
• 其形式化了一种微调过程，根据偏差与漂移之间的权衡动态调整模型更新。
• 该方法采用一种集成统一目标的策略优化框架，确保理论上的性能保障。
• 由此产生的算法，USB-PO（统一模型漂移与模型偏差策略优化），实现简单，可无缝集成到现有 MBRL 流程中。

实验结果

研究问题

• RQ1 如何在基于模型的强化学习中联合优化模型漂移与模型偏差，以确保性能提升？
• RQ2 是否存在一种理论合理且自适应的替代方法，可替代对模型漂移的固定阈值约束？
• RQ3 一个能平衡模型漂移与偏差的统一目标，是否能提升 MBRL 中的泛化能力与鲁棒性？
• RQ4 在具有挑战性的环境中，该方法与现有 MBRL 算法相比，在样本效率与最终性能方面表现如何？
• RQ5 自适应模型更新调度对防止过拟合并维持策略性能有何影响？

主要发现

• USB-PO 在多个具有挑战性的基于模型的强化学习基准上实现了最先进性能，优于先前方法。
• 该算法通过在训练过程中自适应地平衡模型漂移与模型偏差，确保了性能提升的保障。
• 通过避免对模型漂移使用固定阈值，USB-PO 在多种训练设置下展现出更高的适应性与鲁棒性。
• 实验结果表明，统一目标能有效防止过拟合，并维持稳定的策略学习。
• 与具有相似设计原则的现有 MBRL 算法相比，该方法在样本效率和最终策略性能方面均表现出更优表现。