[论文解读] Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|Oct 6, 2019

Reinforcement Learning in Robotics参考文献 22被引用 10

一句话总结

本文提出了一种用于近似动态规划的新型有偏聚合框架，通过引入一个偏差函数 $V$ 来增强经典聚合方法，从而通过将聚合值引导至最优水平来提高近似精度。当 $V$ 近似最优代价 $J^*$ 时，特别是作为基础策略 $μ$ 的 $J_\mu$ 时，该方法推广了滚动优化（rollout）和近似策略迭代，通过保证收敛的低维聚合动态规划解，实现更有效的策略改进，得到接近最优的结果。

ABSTRACT

We propose a new aggregation framework for approximate dynamic programming, which provides a connection with rollout algorithms, approximate policy iteration, and other single and multistep lookahead methods. The central novel characteristic is the use of a bias function $V$ of the state, which biases the values of the aggregate cost function towards their correct levels. The classical aggregation framework is obtained when $V\equiv0$, but our scheme works best when $V$ is a known reasonably good approximation to the optimal cost function $J^*$. When $V$ is equal to the cost function $J_μ$ of some known policy $μ$ and there is only one aggregate state, our scheme is equivalent to the rollout algorithm based on $μ$ (i.e., the result of a single policy improvement starting with the policy $μ$). When $V=J_μ$ and there are multiple aggregate states, our aggregation approach can be used as a more powerful form of improvement of $μ$. Thus, when combined with an approximate policy evaluation scheme, our approach can form the basis for a new and enhanced form of approximate policy iteration. When $V$ is a generic bias function, our scheme is equivalent to approximation in value space with lookahead function equal to $V$ plus a local correction within each aggregate state. The local correction levels are obtained by solving a low-dimensional aggregate DP problem, yielding an arbitrarily close approximation to $J^*$, when the number of aggregate states is sufficiently large. Except for the bias function, the aggregate DP problem is similar to the one of the classical aggregation framework, and its algorithmic solution by simulation or other methods is nearly identical to one for classical aggregation, assuming values of $V$ are available when needed.

研究动机与目标

• 为解决经典聚合在近似动态规划中应用的局限性，提出一种偏差函数，以提升值近似的精度。
• 在统一的聚合框架下，将滚动优化算法、近似策略迭代和前瞻方法进行整合与扩展。
• 通过偏差函数 $V$ 利用先验知识，实现更精确且高效的策略改进。
• 为大规模马尔可夫决策过程提供一种灵活且可扩展的方法，利用低维聚合问题求解。
• 当聚合状态数量足够大时，确保收敛到与最优代价函数 $J^*$ 任意接近的近似解。

提出的方法

• 引入一个偏差函数 $V$，引导聚合代价值趋向正确水平，当 $V \approx J^*$ 时可实现最优性能。
• 基于 $V$ 和每个聚合状态内的局部校正项，构建聚合动态规划问题，并通过值迭代或模拟求解。
• 使用插值方法（例如，式 (3.27)）将聚合解 $\hat{J}_{k+1}$ 从采样集 $\hat{\cal S}$ 扩展回全状态空间 $\cal S$。
• 采用分层的上下采样流程：先下采样至 $\hat{\cal S}$，求解聚合问题，再通过加权插值得到上采样结果。
• 通过保持值迭代中的压缩性质来确保收敛性，当 $\|V_k - TV_k\|$ 较小时可保证收敛。
• 允许多个偏差函数线性组合，通过可调权重实现灵活的近似策略。

实验结果

研究问题

• RQ1 如何通过引入偏差函数来增强经典聚合方法在动态规划中的近似精度？
• RQ2 偏差函数 $V$ 在大规模 MDP 中对策略评估与策略迭代起什么作用？
• RQ3 所提出的框架在哪些方面推广了滚动优化与近似策略迭代算法？
• RQ4 如何选择偏差函数 $V$ 以确保收敛到接近最优的解？
• RQ5 该框架能否扩展至多阶段或分布式聚合设置，并保持类似的收敛保证？

主要发现

• 当 $V = J_\mu$ 且仅有一个聚合状态时，该方法等价于从策略 $\mu$ 出发的单步滚动优化改进，从而与滚动优化算法建立了直接联系。
• 在存在多个聚合状态且 $V = J_\mu$ 时，该方法提供了比标准滚动优化更强大的策略改进形式，扩展了其有效性。
• 该框架确保随着聚合状态数量的增加，聚合动态规划解可收敛至与 $J^*$ 任意接近的近似解。
• 该方法在算法结构上与经典聚合方法保持一致，可复用现有求解器与基于模拟的技术，仅需极少修改。
• 当 $V$ 是 $J^*$ 的通用近似时，该方法退化为值空间近似，其中前瞻函数为 $V + \text{local correction}$，从而提升精度。
• 通过权重 $\xi_{ji} = \sum_{\ell=1}^q \phi_{j\ell} d_{\ell i}$ 进行最终插值，确保归一化与值函数在全状态空间上的平滑扩展。