[论文解读] Beyond variance reduction: Understanding the true impact of baselines on policy optimization

Wesley Chung, Valentin Thomas+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Bandit Algorithms Research参考文献 35被引用 4

一句话总结

本文表明，策略优化中的基线不仅影响方差减少，还显著影响收敛性：负基线会引发策略过早固化，而正基线则有助于保持探索。即使梯度方差相同，基线选择仍可能导致自然策略梯度收敛至次优策略，这挑战了强化学习中标准优化假设。

ABSTRACT

Bandit and reinforcement learning (RL) problems can often be framed as optimization problems where the goal is to maximize average performance while having access only to stochastic estimates of the true gradient. Traditionally, stochastic optimization theory predicts that learning dynamics are governed by the curvature of the loss function and the noise of the gradient estimates. In this paper we demonstrate that this is not the case for bandit and RL problems. To allow our analysis to be interpreted in light of multi-step MDPs, we focus on techniques derived from stochastic optimization principles (e.g., natural policy gradient and EXP3) and we show that some standard assumptions from optimization theory are violated in these problems. We present theoretical results showing that, at least for bandit problems, curvature and noise are not sufficient to explain the learning dynamics and that seemingly innocuous choices like the baseline can determine whether an algorithm converges. These theoretical findings match our empirical evaluation, which we extend to multi-state MDPs.

研究动机与目标

• 研究基线在方差减少之外对策略优化动态的影响。
• 挑战在上下文 bandit 和 MDP 设置中，曲率与梯度噪声完全决定学习动态的假设。
• 识别自然策略梯度因基线选择而无法收敛的条件。
• 分析在线策略采样如何通过差更新与退化策略之间的反馈回路引发收敛问题。
• 提出采用具有充分动作覆盖的离线策略采样作为补救措施，以保证以概率收敛。

提出的方法

• 对多臂老虎机和 MDP 设置下随机梯度方法的理论分析，重点关注自然策略梯度和 EXP3 算法。
• 推导不同基线选择下的梯度方差与偏差，表明当基线相对于最小方差基线对称偏移时，其方差相同。
• 构建一个三臂老虎机反例，表明最小方差基线会导致自然策略梯度收敛至次优的确定性策略。
• 在在线策略采样中引入基线依赖的反馈回路，其中差的更新会降低策略质量，从而恶化未来的更新。
• 提出解决方案：采用均匀动作概率的离线策略采样，以解耦采样与策略更新，确保以概率收敛。
• 理论证明：在离线策略采样中，若动作覆盖充分——即所有动作以有界概率被采样——则可保证收敛至最优策略，且不受基线选择影响。

实验结果

研究问题

• RQ1 基线选择是否能在不考虑梯度方差的情况下影响策略优化的收敛性？
• RQ2 为何某些基线会导致过早策略固化，而另一些基线则能保持探索，即使梯度方差相同？
• RQ3 即使方差较低，自然策略梯度是否仍可能因基线选择而无法收敛至最优策略？
• RQ4 在线策略采样在形成阻碍收敛的反馈回路中起什么作用？
• RQ5 具有充分动作覆盖的离线策略采样是否足以保证以概率收敛？

主要发现

• 两个具有相同梯度方差的基线，可导致定性不同的学习动态：一个引发策略快速固化至确定性次优策略，另一个则保持探索与熵。
• 三臂老虎机示例表明，最小方差基线会导致自然策略梯度对任意正步长均收敛至次优策略。
• 在标准假设下自然策略梯度的失效表明，曲率与噪声本身无法解释上下文 bandit 和 MDP 问题中的学习动态。
• 在线策略采样会形成恶性循环：差的更新导致更差的策略，进而产生更差的更新，从而破坏收敛性。
• 采用充分动作覆盖的离线策略采样——即确保所有动作以有界概率被采样——可保证以概率收敛至最优策略。
• 理论分析确认，基线不影响自然策略梯度估计器的偏差，但其选择仍通过非凸性与反馈动态改变收敛行为。