[论文解读] f-Divergence constrained policy improvement

Boris Belousov, Jan Peters|TUbilio (Technical University of Darmstadt)|Dec 29, 2017

Regional Development and Policy被引用 8

一句话总结

本文提出了一种基于 f-散度约束的一般化策略改进框架，将标准的 Kullback-Leibler (KL) 散度扩展至更广泛的 f-散度类别。通过 f-散度函数的共轭凸函数推导策略更新规则，该方法统一了已知算法（如 softmax（KL）），并揭示了其他 α-散度（如皮尔逊 χ² 散度和 Hellinger 散度）的新型更新规则，每种散度均配以相应的兼容策略评估方法，从而实现更灵活且稳定的强化学习。

ABSTRACT

To ensure stability of learning, state-of-the-art generalized policy iteration algorithms augment the policy improvement step with a trust region constraint bounding the information loss. The size of the trust region is commonly determined by the Kullback-Leibler (KL) divergence, which not only captures the notion of distance well but also yields closed-form solutions. In this paper, we consider a more general class of f-divergences and derive the corresponding policy update rules. The generic solution is expressed through the derivative of the convex conjugate function to f and includes the KL solution as a special case. Within the class of f-divergences, we further focus on a one-parameter family of $α$-divergences to study effects of the choice of divergence on policy improvement. Previously known as well as new policy updates emerge for different values of $α$. We show that every type of policy update comes with a compatible policy evaluation resulting from the chosen f-divergence. Interestingly, the mean-squared Bellman error minimization is closely related to policy evaluation with the Pearson $χ^2$-divergence penalty, while the KL divergence results in the soft-max policy update and a log-sum-exp critic. We carry out asymptotic analysis of the solutions for different values of $α$ and demonstrate the effects of using different divergence functions on a multi-armed bandit problem and on common standard reinforcement learning problems.

研究动机与目标

• 将信任区域策略改进方法从 KL 散度推广至更广泛的 f-散度类别。
• 通过 f-散度函数的共轭凸函数推导闭式策略更新规则。
• 建立每种 f-散度与一种兼容策略评估方法之间的一一对应关系。
• 证明不同散度会诱导出不同的探索策略与学习动态。
• 在统一的 f-散度框架下整合现有算法（如 REPS、Exp3），并揭示新的算法变体。

提出的方法

• 通过使用通用 f-散度作为信任区域，基于约束优化推导策略改进。
• 以 f 的共轭凸函数的导数形式表达策略更新规则，推广 KL 解决方案。
• 聚焦于 α-散度族，探索策略更新的连续谱。
• 将每种 f-散度与特定的策略评估目标关联，例如当 α=2 时对应均方差分优势的最小化。
• 在对偶目标上使用随机梯度下降，实现残差梯度算法的有限温度、连续泛化。
• 在实验中采用温度退火策略，以平衡探索与利用。

实验结果

研究问题

• RQ1 如何利用 f-散度约束将标准的基于 KL 的策略改进方法推广至强化学习中的更广泛场景？
• RQ2 对于任意 f-散度，其闭式策略更新规则是什么？它们与已知算法有何关联？
• RQ3 f-散度的选择如何影响探索行为与学习稳定性？
• RQ4 每种 f-散度是否均可与一种兼容的策略评估方法配对？这对算法设计有何启示？
• RQ5 在多臂赌博机与控制任务中，不同 α-散度的渐近行为与经验行为如何？

主要发现

• 当 α=1 时，softmax 策略更新规则作为 KL 散度的特例被恢复，该规则用于 Exp3 和梯度赌博机算法。
• 当 α=2 时，策略更新规则对应于最小化均方差分优势，该方法与最小化均方贝尔曼误差密切相关。
• 当使用 KL 散度时，log-sum-exp 评论家自然出现，作为兼容的策略评估方法，类似于 REPS 中的设定。
• 皮尔逊 χ² 散度导致一种强调高不确定性动作的策略更新规则，从而促进探索。
• 实验结果表明，不同 α 值导致不同的学习动态，其中 α=2 和 α=1.5 在多臂赌博机与标准强化学习任务中表现出优异性能。
• 该框架通过有限温度的对偶优化，实现了残差梯度算法的连续泛化，弥合了离散与连续学习之间的鸿沟。