[论文解读] Mirror Learning: A Unifying Framework of Policy Optimisation

Jakub Grudzien Kuba, Christian Schroeder de Witt+1 more|arXiv (Cornell University)|Jan 7, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出了镜像学习（Mirror Learning），这是一种统一的理论框架，用于深度强化学习中的策略优化，提供了单调性改进和收敛性保证。它表明，如PPO和TRPO等最先进的算法自然地嵌入在此框架中，通过严格的理论而非启发式类比解释了其经验成功。

ABSTRACT

Modern deep reinforcement learning (RL) algorithms are motivated by either the generalised policy iteration (GPI) or trust-region learning (TRL) frameworks. However, algorithms that strictly respect these theoretical frameworks have proven unscalable. Surprisingly, the only known scalable algorithms violate the GPI/TRL assumptions, e.g. due to required regularisation or other heuristics. The current explanation of their empirical success is essentially "by analogy": they are deemed approximate adaptations of theoretically sound methods. Unfortunately, studies have shown that in practice these algorithms differ greatly from their conceptual ancestors. In contrast, in this paper we introduce a novel theoretical framework, named Mirror Learning, which provides theoretical guarantees to a large class of algorithms, including TRPO and PPO. While the latter two exploit the flexibility of our framework, GPI and TRL fit in merely as pathologically restrictive corner cases thereof. This suggests that the empirical performance of state-of-the-art methods is a direct consequence of their theoretical properties, rather than of aforementioned approximate analogies. Mirror learning sets us free to boldly explore novel, theoretically sound RL algorithms, a thus far uncharted wonderland.

研究动机与目标

• 弥合理论强化学习框架（GPI与TRL）与可扩展、实用的算法（如PPO和TRPO）之间经验成功之间的差距。
• 解决广泛使用但违反GPI与TRL核心假设的算法缺乏理论依据的问题。
• 提供一个原则性且通用的框架，涵盖现有方法的同时，支持新理论可靠算法的设计。
• 不通过近似类比，而是通过新框架内的内在理论特性，解释PPO等方法的经验成功。

提出的方法

• 提出镜像学习作为通用策略优化框架，通过在更新成本（称为‘漂移’）和当前策略邻域内施加约束，最大化价值函数。
• 使用任意漂移泛函（如KL散度、L2距离、总变差）来度量策略更新成本，实现灵活且可扩展的约束。
• 通过约束优化定义策略更新：在漂移和邻域约束下，最大化价值函数的改进。
• 建立理论保证：在任意更新大小约束下，实现单调性改进并收敛至最优策略。
• 将策略优化重新解释为有向图上的搜索，其中路径权重受状态间最优性差距的限制。
• 通过简单环境（单步博弈、表格博弈、GridWorld）及多种漂移与邻域配置，对框架进行实证验证。

实验结果

研究问题

• RQ1 为何可扩展的深度强化学习算法（如PPO和TRPO）在违反GPI与TRL假设的情况下，仍能实现强大的经验性能？
• RQ2 能否开发一个统一的理论框架，解释这些算法的成功，同时提供正式的收敛性保证？
• RQ3 如何将策略优化推广至超越GPI与TRL严格约束的范围，以包含更广泛的稳定、可扩展算法？
• RQ4 漂移泛函的选择与策略优化算法收敛行为之间存在何种关系？
• RQ5 能否将策略优化形式化为具有有界路径权重的图搜索问题？该视角是否带来新的理论洞见？

主要发现

• 镜像学习为包括PPO和TRPO在内的广泛算法类别提供了单调性改进和收敛至最优策略的理论保证。
• PPO和TRPO被证明是镜像学习的自然实例，其经验成功可通过内在理论特性解释，而非启发式类比。
• 数值实验确认，镜像学习框架内的算法在简单环境中实现了单调性改进，并收敛至最优回报。
• 总漂移（策略更新大小的度量）相对于回报增益保持有界，验证了论文中的理论不等式（9）。
• 不同漂移泛函（KL、L2、TV、零）对学习曲线的影响大于邻域算子的选择，尽管两者均影响收敛动力学。
• 镜像学习的图论解释表明，任意优化路径中两策略之间的总路径权重受最优性差距的上界限制，该结论已通过实验验证。