[论文解读] Direct and indirect reinforcement learning

Yang Guan, Shengbo Eben Li+5 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 50被引用 8

一句话总结

本文提出了一种新颖的强化学习（RL）分类法，根据其策略优化方式将RL分为直接法与间接法：直接RL通过梯度下降直接最大化期望累积奖励，而间接RL则将贝尔曼方程作为最优性的充要条件来求解。作者通过使用近似值函数和平稳状态分布，将两种方法统一于同一策略梯度框架下，证明了它们的等价性，并通过实证验证了值函数精度与状态分布选择对学习性能的影响。

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. In this paper, we classify RL into direct and indirect RL according to how they seek the optimal policy of the Markov decision process problem. The former solves the optimal policy by directly maximizing an objective function using gradient descent methods, in which the objective function is usually the expectation of accumulative future rewards. The latter indirectly finds the optimal policy by solving the Bellman equation, which is the sufficient and necessary condition from Bellman's principle of optimality. We study policy gradient forms of direct and indirect RL and show that both of them can derive the actor-critic architecture and can be unified into a policy gradient with the approximate value function and the stationary state distribution, revealing the equivalence of direct and indirect RL. We employ a Gridworld task to verify the influence of different forms of policy gradient, suggesting their differences and relationships experimentally. Finally, we classify current mainstream RL algorithms using the direct and indirect taxonomy, together with other ones including value-based and policy-based, model-based and model-free.

研究动机与目标

• 通过基于其优化机制区分直接法与间接法，建立强化学习的新分类法。
• 通过使用近似值函数和平稳状态分布，将直接与间接RL统一于单一策略梯度公式下。
• 通过实证研究不同组件（如状态分布与值函数近似）对策略梯度学习性能的影响。
• 使用直接/间接分类法对主流RL算法进行分类，并与现有的分类法（如基于值函数/基于策略、基于模型/无模型）进行比较。
• 通过借鉴最优控制理论，为结合直接与间接方法的优势以改进RL算法提供洞见。

提出的方法

• 将直接RL定义为通过梯度下降在期望累积奖励上进行策略优化，将间接RL定义为求解由贝尔曼最优性原理导出的贝尔曼方程。
• 从直接与间接策略梯度公式中推导出演员-评论家架构，以展示其结构等价性。
• 构建一个统一的策略梯度公式，整合近似值函数与平稳状态分布，揭示直接与间接RL在数学上的等价性。
• 设计一个网格世界环境，以在受控条件下模拟并比较不同策略梯度变体。
• 评估初始状态分布与平稳状态分布的影响，以及值函数近似精度对收敛速度与最终性能的影响。
• 通过超参数消融（例如每轮策略更新的值函数更新次数）分析策略与值函数更新频率之间的权衡。

实验结果

研究问题

• RQ1 直接与间接强化学习方法在其底层优化机制上存在哪些差异？
• RQ2 直接与间接RL能否在单一策略梯度公式下统一？若能，其成立条件为何？
• RQ3 在策略梯度估计中，使用初始状态分布与平稳状态分布会产生何种影响？
• RQ4 近似值函数的精度如何影响策略梯度方法的收敛速度与性能？
• RQ5 策略梯度组件（如值函数与状态分布）的差异在实践中在多大程度上影响学习结果？

主要发现

• 当以包含近似值函数与平稳状态分布的统一策略梯度框架表达时，直接与间接RL方法在数学上是等价的。
• 平稳状态分布相比初始状态分布能带来更好的策略优化效果，因为它反映了智能体实际访问的状态，从而降低了策略梯度估计中的偏差。
• 值函数近似误差会显著减缓收敛速度；当近似值函数未能收敛时，策略梯度估计会变得不准确，导致性能下降。
• 相对于策略更新，增加值函数更新的频率可提升学习速度与稳定性，尤其是在值函数尚未准确时。
• 当值函数近似较差时，间接策略梯度的收敛速度慢于基线PG方法，这是由于值函数更新频率过低导致梯度估计存在偏差。
• 策略熵随时间下降，表明策略趋于确定性，但当使用近似值函数或非平稳状态分布时，该过程变慢，表明收敛延迟。