[论文解读] A Deeper Look at Discounting Mismatch in Actor-Critic Algorithms

Shangtong Zhang, Romain Laroche+3 more|arXiv (Cornell University)|Oct 2, 2020

Reinforcement Learning in Robotics参考文献 49被引用 5

一句话总结

本文研究了在演员-评论家强化学习中普遍存在的做法：使用折扣评论家（$\gamma_{\text{c}} < 1$）但忽略演员更新中的折扣（$\gamma_{\text{a}} = 1$），尽管理论上建议保持一致性。从表示学习的角度，本文表明这种不匹配可通过在无折扣设置中实现有利的偏差-方差-表示权衡，以及在折扣设置中作为有效的辅助任务，从而提升性能，并通过受控环境中的实证验证加以支持。

ABSTRACT

We investigate the discounting mismatch in actor-critic algorithm implementations from a representation learning perspective. Theoretically, actor-critic algorithms usually have discounting for both actor and critic, i.e., there is a $γ^t$ term in the actor update for the transition observed at time $t$ in a trajectory and the critic is a discounted value function. Practitioners, however, usually ignore the discounting ($γ^t$) for the actor while using a discounted critic. We investigate this mismatch in two scenarios. In the first scenario, we consider optimizing an undiscounted objective $(γ= 1)$ where $γ^t$ disappears naturally $(1^t = 1)$. We then propose to interpret the discounting in critic in terms of a bias-variance-representation trade-off and provide supporting empirical results. In the second scenario, we consider optimizing a discounted objective ($γ&lt; 1$) and propose to interpret the omission of the discounting in the actor update from an auxiliary task perspective and provide supporting empirical results.

研究动机与目标

• 调查在理论建议保持一致性的前提下，为何在实践中广泛采用折扣评论家（$\\gamma_{\\text{c}} < 1$）但忽略演员更新中的折扣（$\\gamma_{\\text{a}} = 1$）所带来的经验性优势。
• 从表示学习的角度理解这种不一致，特别是其对偏差、方差与表征能力之间权衡的影响。
• 评估在折扣目标中忽略演员更新中的折扣是否可作为有效辅助任务，从而提升策略学习。
• 提供实证证据，表明在函数逼近设置中，有偏设置（$\\gamma_{\\text{a}} = 1$，$\\gamma_{\\text{c}} < 1$）可优于无偏设置（$\\gamma_{\\text{a}} = \gamma_{\\text{c}} = \gamma < 1$）。

提出的方法

• 作者分析了两种不同情形：(1) 在无折扣目标（$\gamma = 1$）下使用 $\gamma_{\text{c}} < 1$；(2) 在折扣目标（$\gamma < 1$）下使用 $\gamma_{\text{a}} = 1$，$\gamma_{\text{c}} = \gamma < 1$。
• 在情形1中，他们将 $\gamma_{\text{c}} < 1$ 解释为一种平衡偏差、方差与表示学习的机制，使用固定时域TD学习来分离这些影响。
• 在情形2中，他们将有偏与无偏设置之间的差异视为一种辅助任务，以隔离表示学习对性能的影响。
• 他们设计了新的基准环境，其中奖励符号在特定时间后反转，以测试对不匹配的鲁棒性。
• 在受控条件下，比较有偏设置（$\gamma_{\text{a}} = 1$）与无偏设置（$\gamma_{\text{a}} = \gamma_{\text{c}} = \gamma < 1$）的性能表现。
• 他们使用近端策略优化（PPO）结合辅助任务，验证了不匹配可提升表示学习的假设。

实验结果

研究问题

• RQ1 为何在无折扣强化学习设置中，使用 $\gamma_{\text{c}} < 1$ 的评论家但设置 $\gamma_{\text{a}} = 1$ 的演员能提升性能？
• RQ2 在折扣目标背景下，忽略演员更新中的折扣（$\gamma_{\text{a}} = 1$）如何影响表示学习？
• RQ3 演员与评论家折扣之间的不匹配能否被解释为一种有效辅助任务，从而增强策略学习？
• RQ4 当真实目标为折扣目标时，有偏设置（$\gamma_{\text{a}} = 1$，$\gamma_{\text{c}} < 1$）是否优于无偏设置（$\gamma_{\text{a}} = \gamma_{\text{c}} = \gamma < 1$）？
• RQ5 在何种条件下，$\gamma_{\text{a}} = 1$ 所引入的归纳偏差会成为学习的阻碍？

主要发现

• 在无折扣设置（$\gamma = 1$）中，使用 $\gamma_{\text{c}} < 1$ 可降低方差并促进表示学习，尽管引入了偏差，但整体性能得到提升。
• 实证结果表明，即使超出方差降低的范围，$\gamma_{\text{c}} < 1$ 也能比 $\gamma_{\text{c}} = 1$ 更容易学习到良好的表示。
• 在折扣设置（$\gamma < 1$）中，当环境引入分布偏移（如奖励符号反转）时，有偏设置（$\gamma_{\text{a}} = 1$，$\gamma_{\text{c}} = \gamma < 1$）优于无偏设置。
• 有偏设置的性能提升可归因于改进的表示学习，这一点通过辅助任务设置隔离影响后得到确认。
• 当 $\gamma_{\text{a}} = 1$ 的归纳偏差具有破坏性时（如在强分布偏移环境中），无偏设置表现更优。
• 作者证明，AuxPPO（将有偏设置作为辅助任务使用）是一种稳健且高效的方法，其性能不严重依赖于归纳偏差的正确性。