[论文解读] Iterative Amortized Policy Optimization

Joseph Marino, Alexandre Piché+2 more|CaltechAUTHORS (California Institute of Technology)|Oct 20, 2020

Reinforcement Learning in Robotics参考文献 81被引用 5

一句话总结

本文提出迭代摊销策略优化（IAPO），一种通过梯度更新迭代优化策略估计以减少摊销差距并支持多模态策略的深度强化学习方法，适用于连续控制任务。在MuJoCo基准测试中，IAPO在多模态动作空间中显著优于直接摊销和标准SAC方法。

ABSTRACT

Policy networks are a central feature of deep reinforcement learning (RL) algorithms for continuous control, enabling the estimation and sampling of high-value actions. From the variational inference perspective on RL, policy networks, when used with entropy or KL regularization, are a form of extit{amortized optimization}, optimizing network parameters rather than the policy distributions directly. However, extit{direct} amortized mappings can yield suboptimal policy estimates and restricted distributions, limiting performance and exploration. Given this perspective, we consider the more flexible class of extit{iterative} amortized optimizers. We demonstrate that the resulting technique, iterative amortized policy optimization, yields performance improvements over direct amortization on benchmark continuous control tasks.

研究动机与目标

• 解决深度强化学习中的摊销差距问题，即直接通过策略网络映射得到的动作分布次优。
• 克服直接摊销的局限性，如探索受限和仅输出单一估计值。
• 通过推理阶段的迭代梯度更新，实现更准确和灵活的策略优化。
• 探索迭代摊销在复杂控制环境中对泛化性和多模态性的优势。
• 证明训练阶段的迭代优化可提升最终性能，超越推理时的优化。

提出的方法

• 将策略优化建模为迭代摊销推理，其中策略网络在每个状态下通过多步梯度更新进行优化。
• 使用可微分的策略网络输出动作分布参数（均值和方差），并通过策略目标函数的梯度上升进行迭代更新。
• 利用策略梯度目标计算梯度，并对策略网络参数应用梯度更新，梯度来源于Q值函数。
• 在初始化和优化过程中引入随机性，以实现每个状态下的多个独立策略估计，增强探索能力。
• 使用标准强化学习算法（如SAC）端到端训练策略网络，但在训练和推理阶段均引入迭代优化。
• 采用变分推理框架将策略解释为一种摊销优化器，通过迭代更新缩小近似策略与真实最优策略之间的差距。

实验结果

研究问题

• RQ1 与直接摊销相比，迭代摊销优化是否能显著减少深度强化学习中的摊销差距？
• RQ2 迭代优化是否能实现每个状态下的多个策略估计，从而改善多模态动作空间中的探索？
• RQ3 与推理时优化相比，训练阶段的迭代优化如何影响最终性能？
• RQ4 迭代摊销是否能在不重新训练的情况下泛化到新的目标函数或价值函数？
• RQ5 在连续控制任务中，增加计算量（多轮迭代）与性能提升之间存在何种权衡？

主要发现

• 迭代摊销策略优化显著减少了摊销差距，尤其在Walker2d-v2和Ant-v2等对多模态性要求较高的环境中。
• 在Hopper-v2、HalfCheetah-v2和Walker2d-v2环境中，IAPO优于直接摊销和标准SAC，最终回报持续提升。
• 即使仅使用单轮迭代，IAPO也优于直接摊销，表明迭代优化能有效捕捉多模态行为。
• 推理阶段增加迭代次数无法提升环境性能，表明价值函数不准确限制了推理时优化的增益。
• 训练阶段增加迭代步数（如5步 vs. 1步）可获得更优的渐近性能并减少摊销差距，证实训练时优化更有效。
• 在每个状态进行10轮优化运行时，观察到多个策略估计，策略均值之间的L2距离表明动作空间中存在持续的多模态性，尤其在Walker2d-v2和Ant-v2中明显。