[论文解读] Actor-Expert: A Framework for using Q-learning in Continuous Action Spaces

Sungsu Lim|arXiv (Cornell University)|Jan 1, 2019

Model Reduction and Neural Networks参考文献 54被引用 13

一句话总结

本文提出Actor-Expert框架，通过将Q-learning与策略优化解耦，利用Expert通过近似Q-learning更新动作值，同时使用Actor通过条件交叉熵方法（CCEM）迭代学习最优动作。该方法在连续动作空间中实现了精确且高效的Q-learning，支持任意函数逼近，性能优于先前的Q-learning方法，并与Actor-Critic基线方法相当。

ABSTRACT

Q-learning can be difficult to use in continuous action spaces, because a difficult optimization has to be solved to find the maximal action. Some common strategies have been to discretize the action space, solve the maximization with a powerful optimizer at each step, restrict the functional form of the action-values, or optimize a different entropy-regularized objective to learn a policy proportional to action-values. Such methods however, can prevent learning accurate action-values, be expensive to execute at each step, or find a potentially suboptimal policy. In this thesis, we propose a new policy search objective that facilitates using Q-learning and a new framework called Actor-Expert, that optimizes this objective. The Expert uses approximate Q-learning to update the action-values towards optimal action-values. The Actor iteratively learns the maximal actions over time for these changing action-values. We develop a Conditional Cross Entropy Method (CCEM) for the Actor, where such a global optimization approach facilitates use of generically parameterized action-values (Expert) with a separate policy (Actor). This method iteratively concentrates density around maximal actions, conditioned on state. We demonstrate in a toy environment that Actor-Expert with unrestricted action-value parameterization and efficient exploration mechanism succeeds while previous Q-learning methods fail. We also demonstrate that Actor-Expert performs as well as or better than previous Q-learning methods on benchmark continuous-action environments. We also show that it is comparable against Actor-Critic baselines, suggesting a new distinction among methods that learn both value function and policy: learning action-values of the current policy or (optimal) action-values decoupled from the policy.

研究动机与目标

• 解决在连续动作空间中应用Q-learning的挑战，其中动作的最大化计算上不可行。
• 克服先前方法的局限性，如动作空间离散化、每步优化成本高昂，或通过熵正则化导致的次优策略。
• 开发一种支持动作值函数无限制参数化的框架，同时保持高效的策略学习。
• 实现与策略无关的最优动作值的精确学习，提升样本效率和策略质量。
• 证明将价值学习与策略学习解耦可获得优于联合优化的Q-learning性能，并与Actor-Critic方法具有竞争力。

提出的方法

• Expert组件使用近似Q-learning，通过通用参数化的函数逼近器，迭代地将动作值更新至最优值。
• Actor组件通过迭代地将概率分布集中在当前动作值最大的动作周围，学习从状态到动作的策略。
• Actor采用条件交叉熵方法（CCEM），将优化条件化在当前状态上，并在迭代中逐步优化策略分布。
• CCEM可在无需梯度计算的情况下实现对连续动作的全局优化，从而支持任意形式的动作值函数。
• 该框架将策略学习与价值函数学习解耦，使Expert可独立于Actor的策略更新价值。
• 该方法通过迭代优化策略分布实现高效探索，避免依赖梯度优化或固定函数形式。

实验结果

研究问题

• RQ1 是否可以在不进行离散化或每步昂贵优化的情况下，有效将Q-learning应用于连续动作空间？
• RQ2 与标准Q-learning方法相比，将价值函数学习与策略学习解耦是否能提升样本效率和策略性能？
• RQ3 通过CCEM训练的策略网络是否能有效发现随动作值变化的最优动作，而无需依赖梯度方法？
• RQ4 Actor-Expert在连续控制基准测试中的性能与已建立的Q-learning和Actor-Critic基线相比如何？
• RQ5 在连续控制任务中，使用无限制函数逼近的动作值是否能带来更高的学习准确性和策略质量？

主要发现

• Actor-Expert在先前Q-learning方法失效的玩具环境中成功学习，展示了在复杂场景中的鲁棒性。
• 该框架在标准连续动作控制基准测试中实现了与先前Q-learning方法相当或更优的性能。
• Actor-Expert与Actor-Critic基线方法相比表现具有竞争力，表明将价值学习与策略学习解耦可获得良好结果。
• CCEM的使用实现了对连续动作的高效且稳定的优化，无需梯度计算或对策略参数化的限制。
• 该方法支持动作值函数的无限制参数化，相比具有固定函数形式的方法，能实现更精确的价值函数逼近。
• 解耦架构实现了稳定训练和有效探索，策略能集中于高回报动作，且不依赖梯度信号。