[论文解读] Anderson Acceleration for Reinforcement Learning

Geist, Matthieu, Bruno Scherrer|arXiv (Cornell University)|Sep 25, 2018

Reinforcement Learning in Robotics参考文献 13被引用 10

一句话总结

该论文将Anderson加速方法引入强化学习中的值迭代，通过利用历史迭代值来计算更优的下一轮估计，显著提升了初步实验中的收敛速度。该方法可推广至近似强化学习与深度强化学习，为动态规划与策略优化提供一种有前景的加速技术。

ABSTRACT

Anderson acceleration is an old and simple method for accelerating the computation of a fixed point. However, as far as we know and quite surprisingly, it has never been applied to dynamic programming or reinforcement learning. In this paper, we explain briefly what Anderson acceleration is and how it can be applied to value iteration, this being supported by preliminary experiments showing a significant speed up of convergence, that we critically discuss. We also discuss how this idea could be applied more generally to (deep) reinforcement learning.

研究动机与目标

• 将Anderson加速——一种用于加速不动点计算的方法——应用于强化学习，特别是值迭代。
• 探究Anderson加速是否能显著加快动态规划与强化学习算法的收敛速度。
• 将Anderson加速的应用扩展至近似强化学习与深度强化学习场景，如DQN与策略优化。
• 探索在策略评估与修改版策略迭代框架中使用Anderson加速的可行性。
• 为将Anderson加速集成到现有强化学习算法中提供理论与实证基础。

提出的方法

• Anderson加速通过将最后 $ m+1 $ 个值函数估计及其对应的贝尔曼算子输出的加权组合，计算新的估计值，以最小化这些估计张成子空间中的残差。
• 系数 $ oldsymbol{eta}^{k+1} $ 通过求解约束最小二乘问题获得：$ oldsymbol{eta}^{k+1} = \text{argmin}_{\boldsymbol{\beta}} \big\bracevert \boldsymbol{\beta}^\top \boldsymbol{\theta} \big\bracevert_2 $，其中 $ \boldsymbol{1}^\top \boldsymbol{\beta} = 1 $，且 $ \boldsymbol{\theta}_i = T v_{k-m+i} - v_{k-m+i} $。
• 对于 $ \boldsymbol{\beta} $ 优化，通过公式 $ \boldsymbol{\beta}^{k+1} = \frac{(\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}}{\boldsymbol{1}^\top (\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}} $ 解析推导出解，从而实现高效计算。
• 该方法应用于值迭代，其中 $ v_{k+1} = \boldsymbol{\beta}^{k+1\top} T \boldsymbol{v}_{k-m}^{k} $，利用最后 $ m $ 次迭代及其残差。
• 该方法通过修改DQN中的目标函数，扩展至近似强化学习：$ y_i = \boldsymbol{\beta}^{k+1\top} \big( r_i + \tilde{\boldsymbol{Q}}_k(s_i', a_i') \big) $，使用历史目标网络的加权组合。
• 该方法亦被提出用于策略优化，其中通过将梯度上升步骤视为不动点迭代，实现加速。

实验结果

研究问题

• RQ1 Anderson加速是否能显著减少马尔可夫决策过程值迭代收敛所需的迭代次数？
• RQ2 在收敛速度与稳定性方面，Anderson加速相较于标准值迭代表现如何？
• RQ3 Anderson加速能否有效适配至如DQN等近似动态规划方法？
• RQ4 当梯度更新被视为不动点迭代时，Anderson加速是否适用于策略优化？
• RQ5 将Anderson加速集成到深度强化学习框架中面临哪些实际挑战与计算权衡？

主要发现

• Anderson加速在值迭代中实现了显著的收敛加速，初步实验已验证此效果。
• 该方法通过利用多个历史迭代的信息，减少了达到不动点所需的迭代次数，从而提升了收敛速率。
• 该加速方法无需修改底层贝尔曼算子，因此可作为即插即用的增强模块，直接集成到现有迭代式强化学习算法中。
• 该方法可自然推广至近似强化学习，如DQN，通过使用历史目标网络的加权组合来修改目标计算。
• 通过将梯度上升步骤视为不动点迭代，Anderson加速可应用于策略优化，为实现更快的策略学习开辟新路径。
• 当 $ m $ 较小时，该方法计算高效，因为优化步骤仅涉及对残差向量的小型最小二乘求解。