[论文解读] A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes

Han Zhong, Tong Zhang|arXiv (Cornell University)|May 15, 2023

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出 OPPO+，一种针对具有完整信息反馈的线性马尔可夫决策过程（MDPs）的乐观近端策略优化算法。它引入了一种新颖的多批次更新机制和基于平均奖励的策略评估步骤，在随机与对抗性线性 MDP 中均实现了最先进的遗憾界 $\widetilde{\mathcal{O}}(d^{3/4}H^{2}K^{3/4})$，其中 $d$ 为环境维度，$H$ 为时域长度，$K$ 为训练轮数。

ABSTRACT

The proximal policy optimization (PPO) algorithm stands as one of the most prosperous methods in the field of reinforcement learning (RL). Despite its success, the theoretical understanding of PPO remains deficient. Specifically, it is unclear whether PPO or its optimistic variants can effectively solve linear Markov decision processes (MDPs), which are arguably the simplest models in RL with function approximation. To bridge this gap, we propose an optimistic variant of PPO for episodic adversarial linear MDPs with full-information feedback, and establish a $ ilde{\mathcal{O}}(d^{3/4}H^2K^{3/4})$ regret for it. Here $d$ is the ambient dimension of linear MDPs, $H$ is the length of each episode, and $K$ is the number of episodes. Compared with existing policy-based algorithms, we achieve the state-of-the-art regret bound in both stochastic linear MDPs and adversarial linear MDPs with full information. Additionally, our algorithm design features a novel multi-batched updating mechanism and the theoretical analysis utilizes a new covering number argument of value and policy classes, which might be of independent interest.

研究动机与目标

• 为理解带函数近似的线性 MDP 的近端策略优化（PPO）提供理论上的填补空白。
• 将乐观 PPO 在线性混合 MDP 中的成功扩展到更简单但更基础的线性 MDP 模型。
• 开发一种基于策略的算法，实现在状态空间大小无关的次线性遗憾，即使在具有完整信息反馈的对抗性环境中亦然。
• 引入适用于线性 MDP 中 PPO 理论分析的新算法与分析技术。

提出的方法

• 提出 OPPO+，一种专为具有完整信息反馈的分段对抗性线性 MDP 设计的 PPO 乐观变体。
• 引入多批次更新机制，以提升策略更新中的样本效率与稳定性。
• 采用平均奖励进行策略评估，以降低方差并提升理论分析中的收敛性。
• 使用新颖的覆盖数论证来控制值函数类与策略类的泛化误差，以支持遗憾分析。
• 应用相邻策略的漂移分析，以限制策略评估步骤中的误差传播。
• 利用椭球潜力引理与集中不等式，控制线性函数近似中的估计误差。

实验结果

研究问题

• RQ1 能否通过理论证明，使 PPO 的乐观变体在对抗性环境中解决带函数近似的线性 MDP？
• RQ2 在完整信息反馈下，基于策略的算法在线性 MDP 中可实现的最优遗憾界是什么？
• RQ3 在基于线性 MDP 的 PPO 中，如何稳定并理论化策略评估步骤？
• RQ4 为在基于 PPO 的线性 MDP 中实现最先进的遗憾界，需要哪些新颖的算法组件？
• RQ5 能否为值函数类与策略类开发一种覆盖数论证，以支持线性 MDP 中更紧致的遗憾界？

主要发现

• OPPO+ 在具有完整信息反馈的对抗性线性 MDP 中实现了 $\widetilde{\mathcal{O}}(d^{3/4}H^{2}K^{3/4})$ 的遗憾界，这是该设置下基于策略算法的最先进结果。
• 遗憾界在训练轮数 $K$ 上为次线性，且在环境维度 $d$ 与时域长度 $H$ 上具有有利的缩放特性，表明在高维线性 MDP 中具有高效性。
• 所提出的多批次更新机制提升了样本效率，并在理论分析中实现了稳定的策略更新。
• 为值函数类与策略类设计的新颖覆盖数论证，提供了一项具有独立理论价值的新工具。
• 对相邻策略的漂移分析成功控制了基于平均奖励的策略评估步骤中的误差累积。
• 如表 1 所示，与先前工作相比，该算法在随机与对抗性线性 MDP 中均表现更优。