[论文解读] A New Softmax Operator for Reinforcement Learning.

Kavosh Asadi, Michael L. Littman|arXiv (Cornell University)|Dec 16, 2016

Reinforcement Learning in Robotics参考文献 20被引用 7

一句话总结

本文提出了一种用于强化学习的新型Softmax算子，确保非扩张性与可微性，解决了标准Boltzmann Softmax的不稳定性和次优行为问题。新算子实现了稳定学习与基于梯度的优化，实证结果表明其在收敛性和性能方面优于现有方法。

ABSTRACT

A softmax operator applied to a set of values acts somewhat like the maximization function and somewhat like an average. In sequential decision making, softmax is often used in settings where it is necessary to maximize utility but also to hedge against problems that arise from putting all of one's weight behind a single maximum utility decision. The Boltzmann softmax operator is the most commonly used softmax operator in this setting, but we show that this operator is prone to misbehavior. In this work, we study an alternative softmax operator that, among other properties, is both a non-expansion (ensuring convergent behavior in learning and planning) and differentiable (making it possible to improve decisions via gradient descent methods). We provide proofs of these properties and present empirical comparisons between various softmax operators.

研究动机与目标

• 解决标准Boltzmann Softmax在强化学习中出现的不稳定性与非收敛行为问题。
• 设计一种兼具非扩张性与可微性的Softmax算子，以实现稳定学习与基于梯度的优化。
• 为新算子提供收敛性与性能的理论保证。
• 在序列决策任务中，对新算子与现有Softmax变体进行实证比较。

提出的方法

• 提出一种新Softmax算子，用一种修改形式替代Boltzmann分布，确保在L-infinity范数下保持非扩张性。
• 通过温度调节的变换形式化该算子，保持单调性与光滑性。
• 证明新算子为非扩张算子，保证值迭代与策略学习中的收敛性。
• 证明算子可微，支持端到端基于梯度的策略优化。
• 在标准强化学习基准环境中实现并评估该算子，与Boltzmann及其他Softmax变体进行对比。
• 通过理论分析与实证比较，验证其稳定性和性能。

实验结果

研究问题

• RQ1 所提出的Softmax算子是否在值迭代与策略迭代中确保非扩张行为？
• RQ2 新算子能否实现可微性以支持基于梯度的学习？
• RQ3 与Boltzmann Softmax相比，新算子在收敛速度与稳定性方面表现如何？
• RQ4 该算子在保持效用最大化的同时，是否提供了足够的探索能力？
• RQ5 在标准强化学习环境中，该算子的实证性能增益如何？

主要发现

• 所提出的Softmax算子在理论上保证为非扩张算子，确保值迭代与策略学习中的稳定收敛。
• 该算子可微，支持有效的基于梯度的策略优化。
• 实证结果表明，在测试环境中，新算子相比Boltzmann Softmax表现出更快的收敛速度与更高的稳定性。
• 新算子在不牺牲收敛性保证的前提下，保持了利用与探索之间的平衡。
• 理论分析证实，该算子不会放大价值估计之间的差异，从而防止发散。
• 在基准任务中，该方法在学习稳定性与最终策略性能方面均优于Boltzmann Softmax。