[论文解读] Adversarial Model for Offline Reinforcement Learning

Mohak Bhardwaj, Tengyang Xie+3 more|arXiv (Cornell University)|Feb 21, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

ARMOR 是一种新颖的基于模型的离线强化学习框架，通过对抗性训练马尔可夫决策过程（MDP）模型，鲁棒地提升任意参考策略的性能，而不会因数据覆盖不足而降低其性能。它在多种超参数设置下实现了鲁棒策略改进（RPI），并在 D4RL 基准测试中达到最先进性能，优于基于模型和无模型的基线方法。

ABSTRACT

We propose a novel model-based offline Reinforcement Learning (RL) framework, called Adversarial Model for Offline Reinforcement Learning (ARMOR), which can robustly learn policies to improve upon an arbitrary reference policy regardless of data coverage. ARMOR is designed to optimize policies for the worst-case performance relative to the reference policy through adversarially training a Markov decision process model. In theory, we prove that ARMOR, with a well-tuned hyperparameter, can compete with the best policy within data coverage when the reference policy is supported by the data. At the same time, ARMOR is robust to hyperparameter choices: the policy learned by ARMOR, with "any" admissible hyperparameter, would never degrade the performance of the reference policy, even when the reference policy is not covered by the dataset. To validate these properties in practice, we design a scalable implementation of ARMOR, which by adversarial training, can optimize policies without using model ensembles in contrast to typical model-based methods. We show that ARMOR achieves competent performance with both state-of-the-art offline model-free and model-based RL algorithms and can robustly improve the reference policy over various hyperparameter choices.

研究动机与目标

• 为解决在数据集未覆盖参考策略时，对已有参考策略进行改进过程中可能出现的性能下降问题。
• 将鲁棒策略改进（RPI）的适用范围从与行为策略比较，扩展至任意参考策略，实现相对于任意参考策略的性能保证。
• 设计一种可扩展的、基于单一模型的实现方式，避免使用模型集成，同时保持高性能与鲁棒性。
• 验证 ARMOR 能够在多种环境和超参数选择下，持续改进参考策略，即使参考策略不在数据集中。

提出的方法

• ARMOR 通过对抗性训练马尔可夫决策过程（MDP）模型，模拟相对于参考策略的最坏情况性能。
• 通过基于模型的轨迹 rollout，联合优化策略与 MDP 模型，最小化策略与参考策略之间的性能差异估计。
• 通过超参数 β 引入相对悲观性，控制性能提升与鲁棒性之间的权衡。
• 采用残差策略初始化，确保策略从接近参考策略的起点开始，提升训练稳定性和 RPI 表现。
• 框架采用深度学习实现端到端训练，无需使用模型集成。
• 当 λ=0 且 β>0 时，该方法可推广为模仿学习的特例，实现具有性能保证的行为克隆。

实验结果

研究问题

• RQ1 离线强化学习算法能否在参考策略未被数据集覆盖的情况下，保证相对于任意参考策略的性能提升？
• RQ2 对抗性 MDP 训练能否实现相对于参考策略的鲁棒策略改进（RPI），且独立于数据覆盖程度？
• RQ3 ARMOR 是否能在 D4RL 基准测试中实现最先进性能，同时在超参数选择上保持鲁棒性？
• RQ4 在分布偏移下，残差策略初始化与行为克隆初始化相比，哪种更有利于保持 RPI 表现？
• RQ5 当参考策略为专家演示者时，ARMOR 是否能恢复专家级性能？

主要发现

• ARMOR 在所有测试的超参数 β 下均实现了鲁棒策略改进（RPI），确保学习到的策略不会在任何情况下劣于参考策略，即使参考策略未被数据覆盖。
• 在 β 调优良好的情况下，当参考策略被数据集覆盖时，ARMOR 可与数据集中表现最佳的策略相媲美。
• 在 D4RL 的运动控制与操作任务中，ARMOR 达到最先进性能，优于基于模型和无模型的基线方法。
• 残差策略初始化在所有环境中均能稳定实现 RPI，而行为克隆初始化在部分任务中导致性能下降。
• 当 λ=0 且 β>0 时，ARMOR 恢复了模仿学习，并在专家级数据集上匹配专家性能，证实其对 IL 的泛化能力。
• 消融实验表明，当参考策略不在数据中时，使用残差策略初始化对 RPI 至关重要，而行为克隆初始化无法保持鲁棒性。