[论文解读] An Alternative Softmax Operator for Reinforcement Learning

Kavosh Asadi, Michael L. Littman|arXiv (Cornell University)|Dec 16, 2016

Reinforcement Learning in Robotics被引用 26

一句话总结

本文提出 mellowmax，一种新颖的可微分 softmax 算子，具有非扩张性，确保强化学习中的收敛性。与标准的玻尔兹曼 softmax 不同，后者在表格型 SARSA 中可能导致不稳定和非收敛，mellowmax 通过状态相关的温度参数，在保证稳定学习的同时维持了利用行为，理论和实践上均优于玻尔兹曼 softmax。

ABSTRACT

A softmax operator applied to a set of values acts somewhat like the maximization function and somewhat like an average. In sequential decision making, softmax is often used in settings where it is necessary to maximize utility but also to hedge against problems that arise from putting all of one's weight behind a single maximum utility decision. The Boltzmann softmax operator is the most commonly used softmax operator in this setting, but we show that this operator is prone to misbehavior. In this work, we study a differentiable softmax operator that, among other properties, is a non-expansion ensuring a convergent behavior in learning and planning. We introduce a variant of SARSA algorithm that, by utilizing the new operator, computes a Boltzmann policy with a state-dependent temperature parameter. We show that the algorithm is convergent and that it performs favorably in practice.

研究动机与目标

• 解决玻尔兹曼 softmax 算子在策略梯度强化学习中导致的不稳定性和非收敛问题。
• 开发一种 softmax 算子，在保持收敛性保证的同时平衡利用与探索。
• 提供一种适用于基于梯度优化的可微分、非扩张型替代方案，以替代玻尔兹曼 softmax。
• 在表格型和深度强化学习设置中，通过实证结果证明其性能优于玻尔兹曼 softmax。
• 在规划、值函数优化和逆强化学习中实现更可靠的训练。

提出的方法

• 提出 mellowmax 作为一种新的 softmax 算子，定义为最大值与平均值之间凸组合族的极限，确保非扩张性。
• 通过状态相关的温度参数，推导出 mellowmax 作为对玻尔兹曼 softmax 中非扩张性违反问题的解决方案。
• 提出一种使用 mellowmax 进行策略选择的 SARSA 变体，在表格型设置下可确保收敛。
• 采用状态相关的温度参数，动态调整以平衡探索与利用。
• 在 Lunar Lander 环境中，使用深度神经网络、Adam 优化器和 Keras/Theano 验证该方法，结合 REINFORCE 算法。
• 分析 mellowmax 的凸性和可微性，使其适用于基于梯度的算法和逆强化学习。

实验结果

研究问题

• RQ1 能否设计一种既可微分又为非扩张的 softmax 算子，以确保强化学习中的收敛性？
• RQ2 在策略型 SARSA 中，用 mellowmax 替代玻尔兹曼 softmax 是否能提升稳定性和收敛性？
• RQ3 在 Lunar Lander 等深度强化学习环境中，mellowmax 与玻尔兹曼 softmax 相比的实证表现如何？
• RQ4 mellowmax 是否可作为逆强化学习和规划算法中玻尔兹曼 softmax 的稳定替代方案？
• RQ5 状态相关的温度参数对学习性能和收敛性有何影响？

主要发现

• 在表格型设置中，使用 mellowmax 策略的 SARSA 可实现收敛，而使用玻尔兹曼策略的 SARSA 则表现出不稳定的值估计且无法收敛。
• mellowmax 算子在所有参数设置下均为非扩张，确保收敛至唯一不动点。
• 在 Lunar Lander 环境中，mellowmax 在峰值性能下优于玻尔兹曼 softmax，40,000 个训练周期内实现了更高的平均回报。
• 随着温度参数增大，mellowmax 算子保持利用行为，近似最大化同时避免不稳定性。
• mellowmax 的凸性和可微性使其适用于基于梯度的强化学习和逆强化学习。
• 实证结果表明，与玻尔兹曼 softmax 相比，mellowmax 提供了更稳定的训练曲线和更高的样本效率。