[论文解读] Estimating Q(s,s') with Deep Deterministic Dynamics Gradients

Ashley D. Edwards, Himanshu Sahni+8 more|arXiv (Cornell University)|Feb 21, 2020

Reinforcement Learning in Robotics参考文献 40被引用 4

一句话总结

本文提出 Q(s,s')，一种新颖的价值函数，用于评估从状态 s 转移到相邻状态 s' 并在此后采取最优动作的效用，从而将动作与价值解耦。通过使用深度确定性动力学梯度（D3G）训练前向动力学模型，预测能最大化 Q(s,s') 的下一状态，该方法实现了仅从观察数据中进行离策略学习，即使数据来自随机或次优策略，也能实现更高的可迁移性和在冗余动作空间中的效率。

ABSTRACT

In this paper, we introduce a novel form of value function, $Q(s, s')$, that expresses the utility of transitioning from a state $s$ to a neighboring state $s'$ and then acting optimally thereafter. In order to derive an optimal policy, we develop a forward dynamics model that learns to make next-state predictions that maximize this value. This formulation decouples actions from values while still learning off-policy. We highlight the benefits of this approach in terms of value function transfer, learning within redundant action spaces, and learning off-policy from state observations generated by sub-optimal or completely random policies. Code and videos are available at http://sites.google.com/view/qss-paper.

研究动机与目标

• 开发一种不依赖动作的值函数，以表达状态转移的效用，实现价值与策略学习的解耦。
• 在仅使用状态观察、无法获取示范者动作的情况下，实现离策略强化学习。
• 在具有冗余或高维动作空间的环境中，提升可迁移性与样本效率。
• 训练一个前向动力学模型，预测能最大化未来回报的下一状态，且无需显式动作监督。

提出的方法

• 提出 Q(s,s') 作为价值函数，表示从 s 转移到 s' 后采取最优动作所能获得的回报，定义为 Q(s,s') = r + γ max_{s''} Q(s',s'')。
• 引入深度确定性动力学梯度（D3G），一种训练前向动力学模型 τ(s) → s' 的方法，以最大化 Q(s,τ(s))，且不依赖于动作条件。
• 使用可微分的动力学模型，基于价值函数目标对下一状态预测进行梯度更新，实现端到端的离策略学习。
• 采用两阶段学习流程：首先通过bootstrapping学习 Q(s,s')；其次训练 τ(s) 以预测能使 Q(s,τ(s)) 最大的下一状态。
• 利用多个动作可能导致相同状态转移的事实，自然地将冗余动作合并为单一值估计。
• 在表格型和连续控制环境（包括 MuJoCo 任务）中应用该方法，使用函数逼近和经验回放。

实验结果

研究问题

• RQ1 仅依赖状态转移的值函数 Q(s,s') 是否在样本效率和可迁移性方面优于传统的 Q(s,a)？
• RQ2 能否在无动作监督的情况下，训练前向动力学模型，使其预测能最大化未来回报的下一状态？
• RQ3 Q(s,s') 和 D3G 是否能从未观察到动作的纯观察数据中学习到有效策略，即使示范数据为随机或次优？
• RQ4 将价值与动作解耦是否能提升在动力学相同但动作表示不同的环境中策略的可迁移性？

主要发现

• 在标准表格型环境中，Q(s,s') 的性能与 Q(s,a) 相当，证明了无动作依赖价值学习的可行性。
• 该方法成功地从未观察到动作的纯观察数据中学习策略，包括完全随机的示范数据，且无需专家动作信息。
• 在具有冗余动作的环境中，Q(s,s') 自然地将等效转移合并为单一值估计，提升了样本效率。
• D3G 实现了对动力学模型的离策略训练，以最大化回报，在 MuJoCo 控制任务中实现了高样本效率。
• 该方法实现了在动力学相同但动作空间不同的任务间有效的价值迁移，仅需在迁移时重新训练逆动力学模型。
• 该方法支持从仅观察数据中自动生成目标并进行规划，性能优于需要动作标签的观察模仿基线方法。