[论文解读] Cautiously Optimistic Policy Optimization and Exploration with Linear Function Approximation

Andrea Zanette, Ching-An Cheng+1 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Bandit Algorithms Research参考文献 60被引用 7

一句话总结

本文提出了一种名为 Copoe 的新型策略优化算法，通过结合谨慎乐观（在乐观 MDP 中使用悲观价值估计）与自适应 MDP 更新机制，在线性函数逼近的强化学习中提升了样本效率。其样本复杂度从 Pc-Pg 的 Õ(1/ε¹¹) 降低至 Õ(1/ε³)，几乎与基于值的方法相当，同时保持了对模型误设的鲁棒性。

ABSTRACT

Policy optimization methods are popular reinforcement learning algorithms, because their incremental and on-policy nature makes them more stable than the value-based counterparts. However, the same properties also make them slow to converge and sample inefficient, as the on-policy requirement precludes data reuse and the incremental updates couple large iteration complexity into the sample complexity. These characteristics have been observed in experiments as well as in theory in the recent work of~\citet{agarwal2020pc}, which provides a policy optimization method PCPG that can robustly find near optimal polices for approximately linear Markov decision processes but suffers from an extremely poor sample complexity compared with value-based techniques. In this paper, we propose a new algorithm, COPOE, that overcomes the sample complexity issue of PCPG while retaining its robustness to model misspecification. Compared with PCPG, COPOE makes several important algorithmic enhancements, such as enabling data reuse, and uses more refined analysis techniques, which we expect to be more broadly applicable to designing new reinforcement learning algorithms. The result is an improvement in sample complexity from $\widetilde{O}(1/ε^{11})$ for PCPG to $\widetilde{O}(1/ε^3)$ for PCPG, nearly bridging the gap with value-based techniques.

研究动机与目标

• 解决策略优化方法在强化学习中样本复杂度差的问题，尤其是在存在模型误设的情况下。
• 克服现有算法（如 Pc-Pg）在模型误差鲁棒性与样本效率之间存在的权衡。
• 设计一种可证明高效的算法，在显著提升样本效率的同时，保持对近似线性 MDP 假设的鲁棒性。
• 通过自适应 MDP 构建实现数据重用，减少策略优化中的冗余数据收集。
• 在不牺牲鲁棒性的前提下，弥合基于策略与基于值的强化学习方法在样本复杂度上的差距。

提出的方法

• 通过在乐观 MDP 中使用悲观价值函数估计引入谨慎乐观，确保价值估计中的一致性误差。
• 实施一种自适应的乐观 MDP 构建调度，基于数据依赖性标准动态调整每轮迭代的样本数量。
• 将 Pc-Pg 中固定的 $O(N)$ 数据收集轮次替换为使用加倍方案的 $O(d\log N)$ 轮，其中 $d$ 为特征维度。
• 在乐观 MDP 框架内采用自然策略梯度更新，以确保策略改进的稳定与高效。
• 利用重要性采样与镜像下降技术稳定学习过程，并在函数逼近下提升泛化能力。
• 应用精细化的理论分析，包括集中不等式与线性回归的统计速率，推导出更紧致的样本复杂度边界。

实验结果

研究问题

• RQ1 我们能否设计一种策略优化算法，在保持对模型误设鲁棒性的同时，实现显著提升的样本复杂度？
• RQ2 谨慎乐观（在乐观 MDP 中进行悲观价值估计）如何减少误差传播并提升样本效率？
• RQ3 何种自适应数据收集策略可减少策略优化中的冗余采样，同时保持收敛性保证？
• RQ4 在近似线性 MDP 假设下，策略优化的样本复杂度可被降低到何种程度而不损失鲁棒性？
• RQ5 能否对策略优化的理论分析进行精细化处理，以实现接近最优的样本复杂度，与基于值的方法相当？

主要发现

• Copoe 将找到 $\epsilon$-次优策略的样本复杂度从 Pc-Pg 的 $\widetilde{O}(1/\epsilon^{11})$ 降低至 $\widetilde{O}(1/\epsilon^3)$，几乎与基于值的方法相当。
• 该改进通过谨慎乐观实现，其通过确保单边估计误差来限制误差传播。
• 自适应 MDP 更新调度将数据收集轮次从 $O(N)$ 降低至 $O(d\log N)$，显著提升了数据重用并减少了冗余。
• Copoe 保持了对模型误设的鲁棒性，性能下降取决于平均误差（转移误差），而非 $\ell_\infty$-有界扰动。
• 理论分析证实，在近似线性 MDP 假设下，Copoe 的样本复杂度近乎最优，具有紧密的集中不等式与回归误差边界。
• 该方法实现了高效的数据重用，避免了重复求解相似的乐观 MDP，这在 Pc-Pg 中曾是主要瓶颈。